Mistral Large 4 ra mắt bản xem trước công khai, tổng cộng 1.050 tỷ tham số

Mistral AI đã mở bản xem trước công khai của mô hình đa phương thức Mistral Large 4, với tổng cộng 1.050 tỷ tham số. Mô hình đạt 54,68% trong bài đánh giá tác vụ tài chính, nhưng thứ hạng thay đổi tùy bài kiểm tra nên chưa thể kết luận về ưu thế hiệu năng tổng thể chỉ từ một điểm chuẩn.

Mistral AI bắt đầu mở bản xem trước công khai ngày 6 tháng 10 và đặt biệt danh cho mô hình là “Le Chonk”. Số tham số được kích hoạt trong mỗi lượt truy vấn là 49 tỷ. Công ty cho biết sẽ công bố trọng số vào cuối tháng 10.

Large 4 sử dụng kiến trúc hỗn hợp chuyên gia (MoE), chọn một số mô hình chuyên gia để xử lý mỗi tác vụ. Mô hình có tổng cộng 1.050 tỷ tham số, trong đó 49 tỷ tham số được kích hoạt cho mỗi lượt truy vấn.

Trong đánh giá Finance Agent v2 của Vals AI, Large 4 đạt 54,68%. Mistral AI cho biết kết quả này cao hơn GPT-6 Astra. Bài đánh giá tập trung vào các tác vụ tài chính, không thể hiện hiệu năng ở những nhiệm vụ khác hoặc trong công việc thực tế.

Dữ liệu so sánh do Mistral AI công bố cũng cho thấy kết quả khác nhau giữa các bài kiểm tra. Large 4 đạt 42% trong Dense 200, bài kiểm tra liên kết vị trí của thông tin hình ảnh, cao hơn mức 41% của GPT-6 Astra. Tuy nhiên, ở bài đánh giá lập trình DeepSWE, mô hình đạt 62 điểm, thấp hơn mức 68 điểm của Kimi K3.

Cách đánh giá và điều kiện chạy có thể khác nhau giữa các bài kiểm tra, vì vậy khó xếp hạng hiệu năng các mô hình chỉ dựa trên điểm số. Kết quả Finance Agent v2 cũng chỉ đến từ một bài đánh giá trong lĩnh vực tài chính.

Mistral AI giới thiệu Large 4 là mô hình có trọng số mở. Với mô hình loại này, nhà phát triển bên ngoài có thể tải trọng số xuống để tự vận hành hoặc điều chỉnh. Phạm vi sử dụng trọng số và các điều kiện áp dụng tùy thuộc vào giấy phép.

Bản xem trước công khai và việc phát hành trọng số là hai giai đoạn riêng biệt. Bản xem trước đã bắt đầu, còn trọng số dự kiến được công bố vào cuối tháng 10. Điều kiện phân phối thực tế sẽ được xác định khi trọng số và giấy phép được công bố.

Theo thông báo của công ty, Large 4 được huấn luyện tại các trung tâm dữ liệu riêng ở châu Âu bằng 3.800 GPU Nvidia Grace Blackwell. Mistral AI đưa ra mức giá 1,36 USD (khoảng 1.826 won) cho mỗi một triệu token đầu vào và 4,18 USD (khoảng 5.614 won) cho mỗi một triệu token đầu ra.

Biệt danh “Le Chonk” bắt nguồn từ một câu chuyện đùa về mô hình khổng lồ hư cấu lan truyền trên mạng vào tháng 6. Mistral AI đã dùng tên này làm biệt danh cho mô hình thực tế. Theo lịch trình công ty công bố, trọng số của Large 4 dự kiến được phát hành vào cuối tháng 10.