QwenGyre giúp rút ngắn 44% thời gian huấn luyện mô hình 2,4T của Alibaba

Khung học tăng cường QwenGyre giúp rút ngắn khoảng 44% thời gian huấn luyện 48 giai đoạn cho mô hình Qwen3.8 2,4T của Alibaba, so với phương pháp bất đồng bộ hiện có. Trong thử nghiệm với cùng ngân sách GPU, thời gian giảm từ 134,55 giờ xuống còn 75,42 giờ.

QwenGyre là khung học tăng cường dành cho các tác tử AI thực hiện nhiệm vụ kéo dài. Hệ thống điều phối lại GPU giữa quá trình tác tử thực hiện nhiệm vụ, gọi là “rollout”, và quá trình huấn luyện mô hình, dựa trên tiến độ công việc.

GPU được cấp cho tác tử hoàn thành nhiệm vụ trước sẽ được chuyển sang huấn luyện mô hình, trong khi các GPU còn lại tiếp tục phục vụ những tác tử vẫn đang làm việc. Nhóm nghiên cứu cho biết có thể đổi mục đích sử dụng GPU mà không phải dừng nhiệm vụ; GPU mới cũng có thể tham gia vào quá trình huấn luyện đang diễn ra.

Nhóm nghiên cứu nêu các nhiệm vụ gồm nhiều bước, chẳng hạn viết mã, là đối tượng chính của khung này. Khi tác tử chạy trong nhiều giờ, liên tục gọi mô hình và sử dụng công cụ, thời gian hoàn thành mỗi nhiệm vụ có thể khác nhau.

Với phương pháp huấn luyện đồng bộ truyền thống, mô hình chỉ được cập nhật sau khi tất cả tác tử trong một nhóm hoàn thành nhiệm vụ. Theo nhóm nghiên cứu, GPU của tác tử đã xong việc có thể bị bỏ không trong lúc chờ các nhiệm vụ khác kết thúc.

Phương pháp bất đồng bộ tách riêng việc thực hiện nhiệm vụ và huấn luyện mô hình, nhưng GPU được phân bổ cố định cho mỗi bên nên khó điều chuyển linh hoạt tài nguyên dư thừa, nhóm nghiên cứu nhận định. QwenGyre được thiết kế để chuyển GPU sang huấn luyện theo thứ tự các nhiệm vụ hoàn thành, qua đó giảm vấn đề này.

Nhóm nghiên cứu cũng áp dụng cách giảm xử lý trùng lặp dữ liệu huấn luyện. Khi tác tử thử lại, nén bản ghi hoặc gọi tác tử phụ, quá trình thực thi có thể rẽ thành nhiều nhánh; tuy nhiên, các nhánh khác nhau có thể dùng chung đầu ra của mô hình.

QwenGyre ghi lại đầu vào và đầu ra thực tế ở mỗi lần gọi mô hình, đồng thời sắp xếp các nhánh có chung lịch sử thành một cây quỹ đạo. Trong quá trình huấn luyện, hệ thống chọn một số nhánh giới hạn để tránh tính toán lại cùng một đầu ra.

Ngay cả khi nhiệm vụ kết thúc do hết thời gian, những phần kết quả đã hoàn thành và có thể kiểm chứng vẫn được dùng để huấn luyện. Nhóm nghiên cứu cho biết cách này giúp đưa các bản ghi phát sinh khi tác tử thử lại hoặc bị gián đoạn vào quá trình học.

Nghiên cứu cho biết mô hình Qwen3.8 2,4T xử lý khoảng 700.000 token cho mỗi nhiệm vụ. Trong thử nghiệm học tăng cường 48 giai đoạn với cùng ngân sách GPU, QwenGyre mất 75,42 giờ, còn phương pháp bất đồng bộ hiện có mất 134,55 giờ.

Tỷ lệ vượt qua NL2RepoBench, bộ đánh giá khả năng tạo kho mã, tăng từ 52,48% trước huấn luyện lên 58,54% sau huấn luyện. Tuy vậy, nghiên cứu cho biết điểm huấn luyện của QwenGyre và phương pháp hiện có tương đương nhau. Nghiên cứu về QwenGyre

Nhóm nghiên cứu Alibaba đã báo cáo thời gian huấn luyện và tỷ lệ vượt qua bộ đánh giá trong thử nghiệm kết hợp điều phối lại GPU với loại bỏ các nhánh thực thi trùng lặp. Kết quả được ghi nhận với mô hình và điều kiện thử nghiệm nêu trên. Trước đó, TokenPost đưa tin mô hình Qwen3.8 2,4T của Alibaba được triển khai tại Zhongchuang Internet của Trung Quốc.