PyTorch 2.15 đặt backend NCCL viết lại làm mặc định

PyTorch 2.15 được phát hành ngày 28 tháng 10, đưa phiên bản viết lại của backend giao tiếp NCCL thành lựa chọn mặc định trong huấn luyện phân tán. Bản cập nhật cũng có tính năng “flight recorder”, tự động ghi trạng thái chẩn đoán khi hoạt động giao tiếp bị treo hoặc hết thời gian chờ.

Crypto Briefing cho biết backend NCCL mới được đặt làm mặc định cho mọi nhóm tiến trình nccl trong PyTorch.

Khi huấn luyện mô hình AI trên nhiều GPU, mỗi thiết bị đảm nhiệm một phần công việc và trao đổi dữ liệu để đồng bộ kết quả. Hoạt động giao tiếp này ảnh hưởng đến tiến độ chung của quá trình huấn luyện phân tán.

Thư viện giao tiếp tập thể NCCL của NVIDIA (NVDA) phụ trách trao đổi dữ liệu giữa các GPU. Những phép toán giao tiếp cần tất cả thiết bị cùng tham gia được gọi là “collective”.

Backend mới được áp dụng mặc định cho mọi nhóm tiến trình nccl của PyTorch. Nhóm tiến trình là tập hợp GPU cùng thực hiện một công việc cụ thể.

Việc tìm nguyên nhân khi giao tiếp bị treo thường khó khăn. Các tiến trình vẫn có thể hoạt động, nhưng công việc sẽ dừng nếu phép toán collective không tiến triển; sự cố cũng có thể không để lại lỗi rõ ràng như khi hệ thống bị sập.

Tính năng mà PyTorch gọi là “flight recorder” tự động ghi trạng thái chẩn đoán khi phép toán collective bị treo hoặc hết thời gian chờ. Nhóm vận hành có thể xem lại bản ghi để phân tích điểm nghẽn trong quá trình giao tiếp.

Chức năng ghi nhận này độc lập với backend, không bị giới hạn ở một thư viện giao tiếp cụ thể. Vì vậy, các nhóm sử dụng phần cứng ngoài NVIDIA hoặc vận hành môi trường kết hợp cũng có thể áp dụng.

Backend NCCL mới từng được cung cấp dưới dạng tùy chọn trong phiên bản 2.14. Sang phiên bản 2.15, backend này trở thành đường xử lý mặc định, đồng thời PyTorch bổ sung flight recorder để chẩn đoán sự cố collective.

PyTorch cũng bổ sung cách tái cấu hình cụm huấn luyện nhanh hơn sau sự cố. Tính năng này giúp giảm thời gian cần thiết để thiết lập lại các nhóm giao tiếp.

Để sử dụng đường tái cấu hình nhanh, cần NCCL phiên bản 2.29 trở lên. Trong môi trường ROCm, RCCL 2.30.7 hỗ trợ tái cấu hình để xử lý sự cố.

Ghi nhận chẩn đoán và tái cấu hình công việc là hai tính năng riêng biệt. Vì vậy, chỉ cài PyTorch 2.15 không đồng nghĩa với việc công việc huấn luyện bị treo sẽ tự động tiếp tục.

Trước đó, TokenPost từng đưa tin về trường hợp AMD và Meta tối ưu hóa tính toán trên GPU AMD trong PyTorch. Thay đổi ở phiên bản 2.15 tập trung vào chẩn đoán lỗi giao tiếp giữa nhiều GPU và quy trình tái cấu hình, thay vì tối ưu hóa tính toán.

PyTorch 2.15 chỉ cung cấp thiết lập để quay lại cách hoạt động cũ trong phiên bản này; thiết lập đó dự kiến bị loại bỏ ở bản phát hành tiếp theo. Nhóm vận hành cần kiểm tra quy trình khởi tạo, hoạt động giao tiếp của backend mới và các phiên bản thư viện cần thiết trong môi trường làm việc thực tế.