Back to top
  • 공유 Chia sẻ
  • 인쇄 In
  • 글자크기 Cỡ chữ
URL đã được sao chép

DeepSeek mở toàn bộ mã nguồn DeepInfer, hỗ trợ cả chip Nvidia lẫn Huawei

Bo mạch có gắn chip tính toán AI với tản nhiệt / TokenPost.ai

DeepSeek vừa công bố mở toàn bộ mã nguồn DeepInfer, khung suy luận (inference) nội bộ của hãng, đồng thời phát hành thành phần mã hóa và giải mã token dùng cho dịch vụ thực tế có tên 'deepseek-recipe'. Thông tin được ChainCatcher đưa tin.

Theo ChainCatcher, DeepInfer là khung tích hợp các toán tử hiệu năng cao với một công cụ suy luận đã được tối ưu. Khung này hỗ trợ suy luận phân tán, giải mã suy đoán (speculative decoding), SWA Bounded Replay và đầu ra có cấu trúc, đồng thời chạy được trên cả nền tảng của Nvidia lẫn Huawei Ascend (昇腾).

DeepSeek cho biết đã dùng DeepInfer để triển khai dịch vụ suy luận quy mô lớn, thông lượng cao và độ trễ thấp cho mô hình DeepSeek V4.1 Flash. Mã suy luận cùng các nội dung tối ưu hóa của những mô hình mới cũng sẽ tiếp tục được cập nhật tại kho mã nguồn này trong thời gian tới.

ChainCatcher bổ sung rằng deepseek-recipe được xây dựng để khớp hoàn toàn với logic xử lý của API chính thức do DeepSeek cung cấp.

<Bản quyền ⓒ TokenPost, nghiêm cấm sao chép và phân phối trái phép>

Phổ biến nhất

Các bài viết liên quan khác

Bình luận 0

Mẹo bình luận

Bài viết tuyệt vời. Mong có bài tiếp theo. Phân tích xuất sắc.

0/1000

Mẹo bình luận

Bài viết tuyệt vời. Mong có bài tiếp theo. Phân tích xuất sắc.
1