NVIDIA công bố Reshard, giảm tối đa 5,7 lần độ trễ cập nhật trọng số RL

NVIDIA(NVDA) công bố Reshard collective, cơ chế giúp giảm tối đa 5,7 lần độ trễ chuyển trọng số từ GPU huấn luyện sang GPU suy luận trong học tăng cường (RL). Trong thử nghiệm NeMo RL của NVIDIA, thời gian refit trọng số ngắn hơn 2,7–5,7 lần so với phương pháp hiện có.

Trong blog kỹ thuật đăng ngày 6 tháng 11, NVIDIA giới thiệu phép toán mới cùng NCCL M2N Reshard, một bản triển khai tham chiếu mã nguồn mở. Ở giai đoạn hậu huấn luyện RL, mô hình trên GPU huấn luyện được cập nhật bằng các quỹ đạo dữ liệu do GPU suy luận tạo ra.

Khi GPU huấn luyện và GPU suy luận là hai nhóm riêng, trọng số đã cập nhật trên GPU huấn luyện cần được chuyển định kỳ sang GPU suy luận. Quá trình này gọi là refit trọng số; nếu mất nhiều thời gian, nó có thể làm chậm chu kỳ cập nhật mô hình.

Phương pháp thu thập toàn bộ rồi phát lại (gather-and-broadcast) gom các trọng số được phân chia trên GPU huấn luyện thành một tensor đầy đủ, sau đó phân phối lại cho GPU suy luận. GPU suy luận chỉ giữ lại những phần dữ liệu thực sự cần dùng.

Reshard tính toán phần giao nhau giữa các vùng phân chia ở nguồn và đích, rồi chỉ chuyển trực tiếp dữ liệu cần thiết. Cách làm này giảm các bước dựng lại tensor đầy đủ và gửi trùng dữ liệu.

Thiết kế này tính vị trí của các phần trọng số để chuyển chúng ngay cả khi số GPU hoặc cách xử lý song song ở khâu huấn luyện và suy luận khác nhau. NVIDIA cũng đưa ra ví dụ trong đó dữ liệu cần thiết được gửi một lần qua mạng khi nhiều GPU suy luận cùng cần một trọng số, sau đó được chia sẻ giữa các GPU qua NVLink.

Trong thử nghiệm NeMo RL trên DGX H100, thời gian refit mô hình Qwen 3 235B giảm từ 6,4 giây xuống 1,9 giây. Với DeepSeek v3 671B trên cùng hệ thống, thời gian giảm từ 14,9 giây xuống 2,6 giây.

Trên DGX GB200, thời gian refit DeepSeek v3 671B giảm từ 6,1 giây xuống 2,3 giây. Thời gian của Nemotron Ultra v3 giảm từ 8,2 giây xuống 2,3 giây.

Phương pháp đối chiếu là cách thu thập toàn bộ rồi phát lại hiện có, do NVIDIA đo lường. Mức cải thiện chỉ áp dụng cho độ trễ refit trọng số, không có nghĩa tổng thời gian huấn luyện RL hoặc thông lượng cũng cải thiện theo cùng tỷ lệ.

Trong một vi thử nghiệm riêng chỉ đo refit, mô hình Qwen3.8 2.4T ở định dạng BF16 đạt 4,3 giây. Con số này chỉ phản ánh thời gian của tác vụ refit.

NVIDIA cho biết trọng số của các phép chiếu feed-forward chiếm khoảng 95% tổng số tham số trong những mô hình ngôn ngữ lớn mới nhất. NeMo RL áp dụng Reshard cho phần này, còn các hạng mục còn lại như phép chiếu QKV và trọng số Mamba vẫn dùng luồng xử lý hiện có.

Ngày 22 tháng 7, NeMo RL cũng từng thảo luận về việc tối ưu refit trọng số giữa các GPU không dùng chung. Lần công bố này khác ở chỗ NVIDIA đưa ra bản triển khai tham chiếu Reshard cùng kết quả đo hiệu năng.

NCCL M2N Reshard được giới thiệu là thư viện thử nghiệm trong kho mã nguồn công khai. Hướng dẫn gói Python trong kho yêu cầu NCCL 2.30.7 và cho biết các phiên bản NCCL khác chưa được xác minh.

Tài liệu vLLM có ví dụ M2N chuyển trọng số giữa khâu huấn luyện và suy luận trên 4 GPU H100. Đây là ví dụ hướng dẫn cách sử dụng, không phải kết quả tái lập độc lập các số liệu hiệu năng của NVIDIA.

Trong blog đăng ngày 6 tháng 11, NVIDIA cho biết NeMo RL khôi phục sau sự cố bằng cách hủy nhóm giao tiếp rồi tạo lại. Blog giới thiệu quy trình khôi phục này là một phần của bản triển khai hiện tại.

Một người dùng báo cáo tại issue công khai số 23 rằng lệnh comm.abort() không trả về sau khi tiến trình đối tác dừng trong môi trường NCCL 2.30.7 và nccl-extensions 0.1.0. Người đăng cho biết cũng tái hiện được sự cố trên NCCL 2.32-3.