Đội ngũ Hunyuan của Tencent ($0700.HK) ngày 20 cho biết đã công bố trọng số của Hy4, mô hình trí tuệ nhân tạo đa phương thức có 770 tỷ (770B) tham số ở backbone ngôn ngữ. Bản đầy đủ hỗ trợ ngữ cảnh tối đa 1.048.576 token, cho phép nhà phát triển tải xuống và chạy trong môi trường riêng.
Các biến thể được phát hành gồm Hy4 tinh chỉnh theo chỉ dẫn, bản lượng tử hóa FP8 Hy4-FP8 và mô hình nền tảng tiền huấn luyện Hy4 base. Trọng số của cả ba được cung cấp trên Hugging Face, ModelScope và GitCode, còn System Card được công bố riêng.
Hy4 sử dụng kiến trúc hỗn hợp chuyên gia (MoE), trong đó 49 tỷ tham số được kích hoạt cho mỗi token trên backbone ngôn ngữ 770 tỷ tham số. Tổng số tham số và số tham số được kích hoạt trên mỗi token là hai đại lượng khác nhau; 49 tỷ không phải quy mô toàn bộ mô hình.
Backbone ngôn ngữ gồm 78 lớp. Lớp đầu tiên là FFN thông thường, 77 lớp còn lại là MoE FFN. Mỗi lớp MoE có 256 chuyên gia định tuyến và một chuyên gia dùng chung; với mỗi token, tám chuyên gia định tuyến cùng chuyên gia dùng chung được kích hoạt.
Hy4 xử lý cả văn bản, hình ảnh và video. Bộ mã hóa thị giác có 1,23 tỷ tham số, còn mô hình nháp DFly2 hỗ trợ suy luận có 3,3 tỷ tham số.
Để xử lý ngữ cảnh dài, mô hình dùng Gated DeepSeek Sparse Attention và IndexCache. Bộ lập chỉ mục chọn tối đa 2.048 token trong toàn bộ ngữ cảnh, được thiết lập ở độ dài 1.048.576 token.
Quy trình triển khai chính thức hỗ trợ vLLM và SGLang. Ví dụ chạy vLLM do Tencent đưa ra áp dụng song song tensor 8 chiều cho Hy4-FP8 cùng API tương thích OpenAI.
Hy4 được cấp phép theo Tencent Hy License 1.0 thay vì Apache License 2.0. Các mô hình được tinh chỉnh, lượng tử hóa, chưng cất, hợp nhất hoặc cắt tỉa đều được xem là sản phẩm phái sinh theo giấy phép.
Nếu tổng doanh thu toàn cầu của nhà cung cấp dịch vụ mô hình (MaaS) vượt 50 triệu USD (khoảng 66,6 tỷ won) trong bất kỳ giai đoạn 12 tháng liên tiếp nào, hoặc sản phẩm và dịch vụ sử dụng mô hình có hơn 100 triệu người dùng hoạt động hàng tháng trong bất kỳ tháng nào, nhà cung cấp phải có giấy phép bằng văn bản riêng. Việc chỉ sử dụng nội bộ, không cung cấp mô hình, sản phẩm phái sinh và đầu ra cho bên thứ ba, được miễn trừ.
Trong thông báo chính thức ngày 4 tháng 11, Tencent cho biết sẽ cung cấp Hy4 dưới dạng dịch vụ trước, sau đó phát hành trọng số và System Card trong vài ngày. Lần công bố trọng số này thực hiện đúng kế hoạch đó.
Khác với trường hợp Hy4 Preview được cung cấp qua API, lần này nhà phát triển có thể tải trọng số xuống và chạy mô hình trên hạ tầng riêng. Hai hình thức gọi dịch vụ và tự triển khai được cung cấp song song.
Đánh giá tài chính do đội ngũ Tencent Hunyuan và Tencent Financial Technology thực hiện có 213 người tham gia, trong đó gồm 153 chuyên gia thuộc các tổ chức tài chính lớn. Trong 579 nhiệm vụ tài chính, Hy4 đạt điểm trung bình 3.04/4, cao nhất trong số các mô hình có trọng số mở được so sánh, theo Tencent.
Đây là đánh giá do Tencent chủ trì và cần được phân biệt với kết quả kiểm chứng độc lập bên ngoài. Model Card chính thức cho biết Hy4 cải thiện khả năng hiểu hình ảnh, hiểu ngữ cảnh dài và thực hiện tác vụ dài hạn so với bản xem trước, nhưng vẫn còn khoảng cách với các mô hình đóng hàng đầu ở toán cấp độ nghiên cứu, lập trình dài hạn, tự cải thiện mô hình và hỏi đáp hình ảnh khó.
Đánh giá an toàn trong System Card cũng do các bộ phận nghiên cứu và an ninh của Tencent thực hiện. Vì vậy, các chỉ số an toàn này không thể được diễn giải rộng thành kết quả tái kiểm chứng độc lập từ bên ngoài.
Con số 770 tỷ tham số không bao gồm bộ mã hóa thị giác và DFly2. Dù 49 tỷ tham số được kích hoạt cho mỗi token, toàn bộ trọng số vẫn phải được lưu trữ và triển khai, nên chi phí chạy và yêu cầu bộ nhớ không thể tính đơn giản như đối với một mô hình 49 tỷ tham số.
Tài liệu công bố lần này không nêu nội dung liên quan trực tiếp đến tiền mã hóa hoặc blockchain, cũng không đề cập hợp đồng cung cấp GPU hay lượng chip sử dụng cụ thể. Thông báo tập trung vào trọng số mô hình, phương thức triển khai và điều kiện cấp phép.
Comment 0