80 tỷ tham số: Yandex công bố mô hình AI mới

Yandex đã công bố mô hình ngôn ngữ lớn có tổng cộng 80 tỷ tham số, trong đó chỉ 3 tỷ tham số được kích hoạt khi xử lý mỗi token. Đây là mô hình nền tảng hướng đến kiến thức và khả năng suy luận bằng tiếng Nga, chưa phải chatbot hoàn chỉnh dành cho người dùng phổ thông.

Yandex cho biết ngày 21 đã phát hành AliceAI-Foundation-80B-A3B-Base. Trọng số mô hình được đăng trên Hugging Face theo giấy phép Apache 2.0, cho phép sử dụng thương mại, sửa đổi và phân phối.

Mô hình sử dụng kiến trúc MoE (Mixture of Experts), trong đó chỉ một phần các mô-đun chuyên gia tham gia tính toán. Mô hình có 48 lớp và 512 mô-đun chuyên gia, với độ dài ngữ cảnh tối đa 262.144 token.

Yandex cho biết mô hình được huấn luyện từ đầu, không sử dụng trọng số của các mô hình công khai bên ngoài. Tuy nhiên, quy mô dữ liệu huấn luyện được nêu khác nhau tùy tài liệu.

Vedomosti đưa tin dựa trên giải thích của một đại diện Yandex rằng quy mô huấn luyện là 18 nghìn tỷ token. Trong khi đó, thẻ mô hình cho biết Yandex đã tiến hành các thử nghiệm huấn luyện riêng biệt với quy mô 2 nghìn tỷ token mỗi thử nghiệm, nên chưa thể khẳng định hai con số này thuộc cùng một giai đoạn huấn luyện.

Mô hình công khai này không phải sản phẩm đã được tinh chỉnh theo chỉ dẫn hoặc tối ưu cho hội thoại, mà là mô hình dựa trên quá trình tiền huấn luyện. Nhà phát triển cần huấn luyện bổ sung cho từng tác vụ cụ thể hoặc tích hợp mô hình vào ứng dụng.

Yandex giới thiệu mô hình này như nền tảng thử nghiệm để phát triển mô hình suy luận tích hợp và các tính năng tác nhân của Alice AI trong tương lai. Công ty chưa công bố lịch phát hành hoặc mục tiêu hiệu năng của sản phẩm hoàn thiện.

Kết quả đánh giá cho thấy mô hình có thế mạnh ở các bài kiểm tra tiếng Nga. Theo thẻ mô hình, AliceAI đạt lần lượt 86,5 điểm và 67,9 điểm trên các benchmark kiến thức thực tế tiếng Nga WikiWebFacts và HardMultiQA.

Trong cùng bài đánh giá, DeepSeek-V4-Flash-Base đạt lần lượt 83,2 điểm và 65,4 điểm. WikiWebFacts và HardMultiQA là các benchmark do Yandex công bố để đánh giá kiến thức thực tế và lĩnh vực chuyên môn trong tiếng Nga.

Kết quả ở các bài đánh giá tiếng Anh lại khác. Trên TriviaQA, AliceAI đạt 79,0 điểm, thấp hơn mức 89,4 điểm của DeepSeek-V4-Flash-Base và 89,8 điểm của Nemotron-3-Super-120B-A12B-Base.

Các so sánh hiệu năng trong thẻ mô hình dựa trên môi trường đánh giá và benchmark do Yandex xây dựng. Chưa có kết quả được một tổ chức độc lập tái hiện trong cùng điều kiện.

Kiến trúc thưa duy trì tổng dung lượng mô hình, đồng thời chỉ cho phép một số chuyên gia tham gia tính toán khi xử lý từng token. Tuy vậy, chỉ dựa vào con số 3 tỷ tham số được kích hoạt thì chưa thể kết luận thiết bị cần thiết để vận hành mô hình sẽ ở mức thấp.

Toàn bộ trọng số của mô hình vẫn cần được lưu trữ với quy mô 80 tỷ tham số. Hugging Face cung cấp hướng dẫn vận hành bằng vLLM, SGLang và Transformers, cùng các ví dụ về huấn luyện bổ sung.

Đánh giá từ ngành công nghiệp vẫn trái chiều. Vedomosti đưa tin Sberbank đánh giá việc công bố mô hình là ví dụ cho năng lực kỹ thuật của Nga, nhưng đồng thời cho rằng tiêu chuẩn của cuộc cạnh tranh AI toàn cầu vẫn nằm ở các mô hình chủ lực có quy mô từ hàng chục tỷ đến hàng nghìn tỷ tham số.

Đại diện các tổ chức liên quan đến kinh tế số Nga và Liên minh Công nghiệp AI nhận định giấy phép mở giúp hạ thấp rào cản pháp lý đối với việc phát triển sản phẩm thương mại. Tuy nhiên, quy mô ứng dụng thương mại thực tế vẫn chưa được công bố.

Điểm đáng chú ý của lần công bố này nằm ở việc Yandex đồng thời cung cấp tổng số tham số, trọng số công khai và cơ chế chỉ kích hoạt một phần tham số cho mỗi token. So sánh kiến trúc giữa các mô hình lớn dạng thưa cũng từng được đề cập trong bài viết trước của TokenPost về việc công bố số tham số kích hoạt của DeepSeek V4.1 Flash.