RTX 3090 Ti: Thử nghiệm cho thấy hiệu năng BF16 tăng khoảng 80%

Hiệu năng tính toán ma trận BF16 trên card đồ họa RTX 3090 Ti của Nvidia($NVDA), sau khi áp dụng công cụ mã nguồn mở gpu-unlock, tăng từ 87,50 TFLOPS lên 157,41 TFLOPS trong thử nghiệm. Mức tăng khoảng 80% này chỉ phản ánh kết quả của một phép thử cụ thể, không có nghĩa tốc độ xử lý tổng thể của mô hình AI cũng tăng tương ứng.

Nhà phát triển Zagitta cho biết trong tài liệu dự án rằng mô-đun nhân Linux thay đổi thiết lập tốc độ tính toán trước khi trình điều khiển Nvidia kết nối với card đồ họa. Công cụ không ghi lại vBIOS hay chỉnh sửa trình điều khiển. Các GPU được hỗ trợ thuộc dòng Ampere, dùng trên RTX 30.

Thử nghiệm RTX 3090 Ti do dự án công bố đặt giới hạn công suất ở mức 450W, đo phép nhân ma trận quy mô lớn năm lần rồi so sánh giá trị trung vị. Trong cùng điều kiện, hiệu năng TF32 tăng từ 42,58 TFLOPS lên 82,61 TFLOPS, còn FP16 tăng từ 87,46 TFLOPS lên 118,39 TFLOPS. BF16 là định dạng số được dùng trong tính toán AI, còn TFLOPS biểu thị số phép tính mỗi giây.

Zagitta cũng cho biết trong tài liệu dự án rằng các thử nghiệm của người dùng ghi nhận tốc độ xử lý giai đoạn prefill của mô hình ngôn ngữ lớn cải thiện 14-36%. Prefill là bước xử lý dữ liệu đầu vào trước khi mô hình tạo câu trả lời. Trong khi đó, tốc độ ở giai đoạn decode, khi mô hình tạo từng token, và các tác vụ INT8 nhìn chung tương tự trước đây.

Kết quả hỗ trợ khác nhau tùy card đồ họa. Ngoài RTX 3090 Ti, các báo cáo người dùng của dự án ghi nhận cải thiện hiệu năng trên RTX 3090, RTX 3080, RTX 3070 và RTX 3060 12GB. Một số mẫu RTX 3080 Ti OEM 20GB vẫn chỉ đạt khoảng một nửa hiệu năng BF16 sau khi chạy công cụ.

Dự án cho biết điều kiện thử nghiệm khác nhau giữa các card khiến việc so sánh trực tiếp mức cải thiện trở nên khó khăn; giới hạn công suất cũng ảnh hưởng đáng kể đến kết quả. Vì vậy, mức tăng khoảng 80% trong thử nghiệm này không thể được khái quát thành mức tăng tốc độ của các dịch vụ AI thực tế hay của mọi card đồ họa.