DeepSeek vừa công bố mở toàn bộ mã nguồn DeepInfer, khung suy luận (inference) nội bộ của hãng, đồng thời phát hành thành phần mã hóa và giải mã token dùng cho dịch vụ thực tế có tên 'deepseek-recipe'. Thông tin được ChainCatcher đưa tin.
Theo ChainCatcher, DeepInfer là khung tích hợp các toán tử hiệu năng cao với một công cụ suy luận đã được tối ưu. Khung này hỗ trợ suy luận phân tán, giải mã suy đoán (speculative decoding), SWA Bounded Replay và đầu ra có cấu trúc, đồng thời chạy được trên cả nền tảng của Nvidia lẫn Huawei Ascend (昇腾).
DeepSeek cho biết đã dùng DeepInfer để triển khai dịch vụ suy luận quy mô lớn, thông lượng cao và độ trễ thấp cho mô hình DeepSeek V4.1 Flash. Mã suy luận cùng các nội dung tối ưu hóa của những mô hình mới cũng sẽ tiếp tục được cập nhật tại kho mã nguồn này trong thời gian tới.
ChainCatcher bổ sung rằng deepseek-recipe được xây dựng để khớp hoàn toàn với logic xử lý của API chính thức do DeepSeek cung cấp.
Bình luận 0