Meta công bố trọng số Muse Spark Open với 816 tỷ tham số

Meta($META) đã công bố trọng số của mô hình trí tuệ nhân tạo đa phương thức Muse Spark Open. Mô hình có tổng cộng 816 tỷ tham số; để tự vận hành, người dùng cần xem xét thiết bị đủ khả năng tải toàn bộ trọng số và các điều kiện cấp phép.

Trong tài liệu dành cho nhà phát triển công bố ngày 15 tháng 10, Meta cho biết mô hình có 42 tỷ tham số hoạt động và cửa sổ ngữ cảnh 1.048.576 token. Mô hình hỗ trợ đầu vào văn bản, hình ảnh, âm thanh và video, đồng thời được thiết kế cho lập trình, tác vụ tác nhân và suy luận nhiều bước.

Trọng số được cung cấp qua Hugging Face cùng các nền tảng đám mây và suy luận. Tài liệu của Meta liệt kê Amazon SageMaker AI, Google Cloud Model Garden và Microsoft Foundry là các kênh triển khai; Baseten, Fireworks AI và Groq là một số nền tảng suy luận. Tuy nhiên, việc công bố trọng số không đồng nghĩa với quyền sử dụng mã nguồn mở không giới hạn. Muse Model License và chính sách sử dụng riêng vẫn áp dụng cho mô hình.

Khi tự vận hành, người dùng cần tải vào bộ nhớ trọng số của toàn bộ 816 tỷ tham số, chứ không chỉ lượng tham số hoạt động. Meta giải thích rằng phép tính cho mỗi token dựa trên 42 tỷ tham số hoạt động, nhưng để chạy dịch vụ cần tải toàn bộ trọng số.

Meta đưa ra cấu hình máy tính để bàn tham khảo gồm hai máy Mac Studio trang bị Apple M5 Ultra và sử dụng MLX. Chi phí và hiệu năng thực tế có thể khác nhau tùy môi trường triển khai. Sự khác biệt giữa tổng số tham số và tham số hoạt động cũng quan trọng khi xem xét yêu cầu vận hành các mô hình open-weight.

Đây là trường hợp Meta cung cấp trọng số Muse Spark Open ra bên ngoài. Trước đó, Meta đã công bố Muse Glimmer, khơi lại tranh luận về các mô hình open-weight. Muse Spark Open cũng cung cấp trọng số để người dùng có thể vận hành trong môi trường riêng, nhưng phạm vi sử dụng phụ thuộc vào giấy phép và nguồn lực vận hành.

Bản tin ban đầu cho biết Muse Spark Open đã bước vào giai đoạn thử nghiệm công khai trên Agent Arena và Code Arena của Arena.ai. Tuy nhiên, nhật ký thay đổi chính thức của Arena.ai ghi nhận đến ngày 13 tháng 9 một số bảng xếp hạng có Muse Spark 1.3. Trong nhật ký thay đổi công khai tính đến ngày 15 tháng 10, chưa thể xác nhận Muse Spark Open được liệt kê hoặc có điểm số.

Arena.ai xếp hạng mô hình theo từng hạng mục đánh giá. Việc được liệt kê và điểm số cho biết mô hình tham gia đánh giá nào, nhưng hồ sơ công khai hiện chưa xác nhận Muse Spark Open tham gia hay đạt kết quả ra sao.