MoonshotAI công bố Kimi K3 2,8 nghìn tỷ tham số, làm nóng cuộc đua AI

Công ty trí tuệ nhân tạo Trung Quốc MoonshotAI đã công bố trọng số mô hình và báo cáo kỹ thuật của Kimi K3, mô hình quy mô lớn có 2,8 nghìn tỷ tham số.

Theo PANews đưa tin ngày 27, nhóm MoonshotAI đã đăng các tài liệu liên quan lên Hugging Face, GitHub và blog kỹ thuật chính thức. Cùng với mô hình, công ty cũng mở mã cho toán tử attention hiệu năng cao, thư viện truyền thông MoE và mã hạ tầng phục vụ vận hành môi trường tác nhân quy mô lớn.

Kimi K3 được xây dựng trên kiến trúc MoE, nổi bật với khả năng hiểu thị giác đa phương thức nguyên bản và hỗ trợ ngữ cảnh dài 1 triệu token. MoonshotAI cho biết kiến trúc mới giúp nâng mức độ thông minh khoảng 2,5 lần trong cùng điều kiện năng lực tính toán.

Việc công bố Kimi K3 dự kiến sẽ khiến cuộc cạnh tranh mô hình ngôn ngữ lớn mã nguồn mở trong ngành AI Trung Quốc tiếp tục nóng lên. Trong bối cảnh các doanh nghiệp công nghệ tăng tốc phát triển mô hình đa phương thức và tác nhân AI, khả năng triển khai thực tế của Kimi K3 sẽ là điểm được thị trường theo dõi.