Meituan công bố trọng số LongCat-2.5 dung lượng 3,56 TB

Meituan (3690.HK) đã công bố trọng số của LongCat-2.5. Kho lưu trữ trên Hugging Face có 208 tệp trọng số, tổng dung lượng 3,56 TB.

Meituan giới thiệu mô hình trên blog kỹ thuật ngày 2 tháng 11, sau đó công bố trọng số vào ngày 9 tháng 11. Việc này cho phép nhà phát triển truy cập trực tiếp các tệp mô hình; thời điểm giới thiệu mô hình và phân phối trọng số được tách thành hai mốc.

Kho lưu trữ ghi giấy phép MIT. Thẻ mô hình giải thích rằng giấy phép này không cấp quyền sử dụng nhãn hiệu hay bằng sáng chế của Meituan.

Công bố trọng số không đồng nghĩa với việc công bố dữ liệu huấn luyện hay toàn bộ quy trình huấn luyện. Tài liệu được tải lên lần này là các tệp trọng số cấu thành mô hình.

Meituan giới thiệu LongCat-2.5 là mô hình hỗn hợp chuyên gia (MoE) có tổng cộng 1,6 nghìn tỷ tham số, trong đó khoảng 48 tỷ tham số được kích hoạt cho mỗi token. MoE là cấu trúc chỉ kích hoạt một số mô-đun chuyên gia tùy theo đầu vào.

Tuy nhiên, thẻ mô hình trên Hugging Face ghi tổng số tham số là 1,6 nghìn tỷ, trong khi siêu dữ liệu tự động trên cùng trang hiển thị 1,8 nghìn tỷ. Chưa có giải thích chính thức về chênh lệch này.

Mô hình có cấu trúc đa phương thức, chuyển tín hiệu hình ảnh thành các token rời rạc qua nhiều giai đoạn để xử lý cùng văn bản. Meituan nêu các lĩnh vực ứng dụng chính gồm phát triển cơ sở mã phức tạp, xây dựng dự án hoàn chỉnh và lập trình có sử dụng thông tin thị giác.

Blog kỹ thuật của Meituan cho biết hãng đã áp dụng chuỗi dài trong giai đoạn huấn luyện giữa kỳ và tinh chỉnh có giám sát (SFT), có tính đến điều kiện bộ nhớ trên mỗi bộ tăng tốc AI do Trung Quốc sản xuất thấp hơn 80 GB. Một trường hợp trước đó công bố mô hình chạy trên chip sản xuất tại Trung Quốc cũng được đề cập trong bài viết trước của TokenPost.

Hệ thống huấn luyện sử dụng chiến lược song song ưu tiên giao tiếp nội bộ trong siêu nút và phương pháp song song dữ liệu phân mảnh hoàn toàn hai chiều (FSDP). Meituan cho biết thiết kế này giúp giảm mức sử dụng bộ nhớ; blog kỹ thuật nêu cụ thể phạm vi áp dụng là huấn luyện giữa kỳ và SFT.

Ở giai đoạn suy luận, mô hình áp dụng phương pháp W4A4, lượng tử hóa trọng số chuyên gia và giá trị kích hoạt xuống 4 bit mỗi loại.

Meituan cho biết trong thử nghiệm tải trực tuyến nội bộ, thông lượng xử lý đầu vào (prefill) của W4A4 cao hơn W8A8 43,3%, còn thông lượng tạo đầu ra (decode) cao hơn 42,77%. Đây là các kết quả do công ty đo lường.

Tác giả bài đăng gốc trên Reddit viết rằng trước khi trọng số được công bố, người này đã yêu cầu mô hình xem trước phân tích mã nhưng tác vụ không hoàn thành trong khoảng 20 phút và quá trình suy luận lặp lại cùng một câu. Một người bình luận khác cho biết mô hình đã lặp lại lệnh “ls” đơn giản nhiều lần khi thiết lập máy ảo.

Một người dùng Reddit khác ghi nhận tỷ lệ thành công ngay lần thử đầu (pass@1) là 48,7% và tỷ lệ thành công trong tối đa ba lần thử (pass@3) là 64,0% trong bài kiểm tra so sánh với 267 tác vụ. Đây là thử nghiệm cá nhân trên phiên bản xem trước, được thực hiện trước khi trọng số công bố.

Trong phần thảo luận về bài giới thiệu mô hình trên Hacker News, một số ý kiến ghi nhận năng lực cạnh tranh của API dựa trên các chuẩn đánh giá công khai, trong khi ý kiến khác cho rằng quy mô lớn của mô hình là trở ngại khi triển khai trên thiết bị cá nhân. Cuộc thảo luận này cũng diễn ra trước khi trọng số được công bố.