42,0% FLOPs huấn luyện thấp hơn trong thử nghiệm AI của Salesforce($CRM)

Các nhà nghiên cứu AI của Salesforce($CRM) huấn luyện riêng mô hình chuyên về toán và lập trình rồi hợp nhất chúng thành một mô hình. Thử nghiệm đạt hiệu năng tương đương phương pháp học tăng cường đồng thời ở hai lĩnh vực, với tổng lượng tính toán huấn luyện thấp hơn 42,0%.

Nhóm nghiên cứu công bố kết quả ngày 6 (giờ Hàn Quốc) trong bản tiền xuất bản trên arXiv mang tên “Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO”. Bài nghiên cứu đối chiếu độ chính xác trên dữ liệu đánh giá với FLOPs tích lũy trong quá trình huấn luyện.

Nhóm huấn luyện riêng các mô hình chuyên về toán và lập trình, sau đó dùng chưng cất đa giáo viên theo chính sách hiện hành (OPD) để hợp nhất năng lực vào một mô hình học viên. Mô hình hợp nhất được huấn luyện để khôi phục độ chính xác của từng mô hình chuyên gia.

Nhóm dùng GRPO (Group Relative Policy Optimization) để huấn luyện các mô hình chuyên gia. Phương pháp này tăng cường mô hình dựa trên kết quả tương đối của nhiều câu trả lời. Với OPD (On-Policy Distillation), mô hình giáo viên cung cấp tín hiệu huấn luyện theo từng token cho câu trả lời do chính mô hình học viên tạo ra. Trong thử nghiệm này, các mô hình chuyên về toán và lập trình đóng vai trò giáo viên.

Huấn luyện hai mô hình chuyên gia cần 10,7 EFLOPs; hợp nhất chúng vào mô hình học viên cần thêm 0,55 EFLOPs. Lượng tính toán ở bước chưng cất bằng khoảng 5,2% lượng dùng để huấn luyện mô hình chuyên gia. Một EFLOP tương đương 10¹⁸ phép tính dấu phẩy động.

Mức giảm 42,0% tính tổng lượng tính toán cho cả huấn luyện chuyên gia lẫn hợp nhất, rồi so sánh với phương pháp GRPO chung, trong đó toán và lập trình được huấn luyện cùng nhau. Đây không phải là mức giảm chỉ riêng ở bước chưng cất.

Nhóm mở rộng thử nghiệm sang bốn lĩnh vực, gồm toán, lập trình, đánh giá kiến thức và làm theo chỉ dẫn. Huấn luyện các mô hình chuyên gia cho bốn lĩnh vực cần 14,4 EFLOPs; hợp nhất vào mô hình học viên cần thêm 1,15 EFLOPs. Lượng tính toán ở bước hợp nhất bằng 8,0% lượng dùng để huấn luyện các mô hình chuyên gia.

Trong cấu hình này, mô hình hợp nhất đạt hiệu năng tương đương mốc instance-mix của GRPO chung, đồng thời giảm tổng FLOPs 31,6%. Phép tính của nhóm bao gồm cả huấn luyện mô hình chuyên gia và bước hợp nhất.

Ở thử nghiệm một lĩnh vực, khi dùng điểm kiểm tra GRPO của chính mô hình học viên làm giáo viên, bước chưng cất để khôi phục hiệu năng toán cần lượng tính toán thấp hơn GRPO tới 50 lần. Con số này chỉ so sánh lượng tính toán của bước chưng cất với bước huấn luyện GRPO.

Tuy nhiên, điểm kiểm tra GRPO của giáo viên đã là mô hình mong muốn trong thử nghiệm một lĩnh vực. Vì vậy, nếu tính cả chi phí huấn luyện mô hình đó thì không thể kết luận chưng cất tự nó làm giảm tổng lượng tính toán. Khi hợp nhất nhiều lĩnh vực, mỗi mô hình chuyên gia có năng lực khác nhau và một mô hình duy nhất khó đảm nhiệm tất cả.

Trong các cấu hình được so sánh, OPD dùng mô hình giáo viên được huấn luyện riêng từ bên ngoài nhìn chung đạt độ chính xác thấp hơn GRPO trên mỗi đơn vị tính toán. Một số thử nghiệm cũng ghi nhận câu trả lời của mô hình học viên dài hơn mức cần thiết.

Nghiên cứu chỉ so sánh lượng tính toán đo được trong giai đoạn huấn luyện. Đây là bản tiền xuất bản trên arXiv; kết quả không đo lường việc chi phí đám mây hoặc mức tiêu thụ điện giảm theo cùng tỷ lệ.