Nhóm Hunyuan của Tencent ($0700) cho biết đang tập trung hậu huấn luyện Hy4 và mở rộng huấn luyện tăng cường quy mô lớn, đồng thời lên kế hoạch huấn luyện các mô hình lớn hơn.
Trong phiên hỏi đáp công khai trên Reddit ngày 21, nhóm Hunyuan cho biết Hy4 vẫn còn nhiều dư địa cải thiện, đặc biệt là thông qua hậu huấn luyện. Nhóm nói: “Chúng tôi đang dành nhiều nguồn lực cho huấn luyện tăng cường quy mô lớn, đồng thời tiếp tục cải thiện trải nghiệm người dùng và độ an toàn của mô hình. Chúng tôi cũng có kế hoạch huấn luyện các mô hình lớn hơn”.
Trả lời câu hỏi của một nhà phát triển về lý do Tencent dừng mở rộng quy mô ở mức 700 tỷ tham số, nhóm Hunyuan cho biết: “Hy3 và Hy4 cho thấy những mô hình nhỏ được huấn luyện tốt vẫn có thể vượt trội hơn mô hình lớn hơn, đồng thời giảm chi phí”.
Tài liệu chính thức về Hy4 do Tencent công bố mô tả mô hình có tổng cộng 770 tỷ tham số, trong đó 49 tỷ tham số được kích hoạt cho mỗi token.
Ngày 16, Tencent ra mắt Hy4 Flash và cho biết trong WorkIndex, bộ đánh giá nội bộ của công ty, chi phí cho mỗi tác vụ của mô hình này bằng 1/20 so với Hy4. Hy4 Flash có tổng cộng 224 tỷ tham số, trong đó 12 tỷ tham số được kích hoạt. So sánh chi phí dựa trên kết quả đánh giá nội bộ của Tencent.
Phiên hỏi đáp cũng đề cập đến quá trình thiết kế Hy4. Nhóm Hunyuan cho biết đã cân nhắc GQA và MLA trước khi chọn MLA. Theo nhóm, với cùng dung lượng bộ nhớ đệm tạm thời, MLA cho chất lượng mô hình tốt hơn; việc áp dụng DSA cũng giúp giảm tải tính toán trong quá trình tạo câu trả lời.
Nhóm Hunyuan cho biết hành vi khó khắc phục nhất trong quá trình hậu huấn luyện là mô hình “suy luận quá mức”. Hy4-mini cũng nằm trong lộ trình phát triển của nhóm.
Comment 0