Nvidia DGX Spark tăng 42,5% thông lượng suy luận

Nvidia (NVIDIA, $NVDA) cho biết khi kết hợp ba tối ưu hóa suy luận Ling-3.0-flash trên một thiết bị DGX Spark, thông lượng trong thử nghiệm với 1.319 câu hỏi toán GSM8K tăng 42,5%. Số token tạo ra mỗi giây tăng từ 37,81 lên 53,89, còn độ trễ phản hồi trung bình giảm từ 15,21 giây xuống 11,49 giây.

Nvidia công bố kết quả tự đánh giá trong blog kỹ thuật ngày 27. Thử nghiệm xử lý từng yêu cầu một, với kích thước batch bằng 1. Ling-3.0-flash là mô hình hỗn hợp chuyên gia (MoE) có tổng cộng 124 tỷ tham số, trong đó 5,1 tỷ tham số được kích hoạt mỗi khi tạo token.

Tối ưu hóa đầu tiên thay backend tính toán MoE từ flashinfer_mxfp4 sang Humming. Trong thử nghiệm tổng hợp dùng 32.000 token đầu vào và 2.000 token đầu ra, thời gian tạo một token giảm từ 27,71 xuống 25,35 mili giây. Thông lượng tăng 9,3%, từ 36,09 lên 39,45 token mỗi giây.

Tối ưu hóa thứ hai lượng tử hóa trọng số của LM head, lớp đầu ra của mô hình, theo phương thức FP8 trực tuyến. Nvidia cho biết cách này giảm một nửa lượng dữ liệu trọng số cần đọc ở lớp đó. Khi kết hợp Humming và FP8 trong thử nghiệm tổng hợp, thông lượng đạt 43,94 token mỗi giây, cao hơn 21,7% so với cấu hình cơ sở chưa áp dụng hai phương pháp.

Tối ưu hóa thứ ba dùng lớp NEXTN bên trong mô hình để dự đoán nhiều token (MTP). Phương pháp này đề xuất trước một số token tiếp theo rồi kiểm tra chúng, qua đó giảm số bước tạo đầu ra. Trong thử nghiệm tổng hợp, cả ba phương pháp khi được áp dụng cùng nhau cho thông lượng cao hơn 185,1% so với cấu hình cơ sở.

Tuy nhiên, không thể xem kết quả thử nghiệm tổng hợp là mức cải thiện hiệu suất trong công việc thực tế. Nvidia giải thích rằng thử nghiệm tổng hợp cố định đầu ra ở 2.000 token và dùng giải mã tham lam, nên đầu ra lặp lại có thể giúp các token dự đoán được chấp nhận dễ dàng hơn.

Trong thử nghiệm GSM8K, độ dài đầu ra trung vị khoảng 310 token và độ dài trung bình của chuỗi token MTP được chấp nhận là 2,68. Con số tương ứng trong thử nghiệm tổng hợp là 3,90. Do điều kiện đo khác nhau, cần phân biệt mức tăng 185,1% của thử nghiệm tổng hợp với mức tăng 42,5% của thử nghiệm GSM8K.

Độ chính xác được báo cáo ở mức 96,89% với cấu hình cơ sở và 96,82% với cấu hình tối ưu hóa. Nvidia nêu mức chênh lệch 0,08 điểm phần trăm và cho biết thay đổi về độ chính xác này không thể được phát hiện về mặt thống kê. Chênh lệch giữa hai số liệu độ chính xác được hiển thị là 0,07 điểm phần trăm.

Các số liệu trên là kết quả tự đánh giá của Nvidia với một mô hình, thiết bị và thiết lập thử nghiệm cụ thể. Chưa có thông tin xác nhận việc tái lập độc lập hoặc kiểm chứng từ bên thứ ba.

DGX Spark là thiết bị chạy các mô hình AI ngay trên máy. Trước đó, TokenPost đã đưa tin về thử nghiệm hiệu suất khi kết nối hai thiết bị DGX Spark và kế hoạch bán hàng. Lần công bố này tập trung vào việc điều chỉnh đường xử lý tính toán và quá trình tạo đầu ra trên một thiết bị, thay vì kết nối thêm thiết bị.

Người dùng cần kiểm tra cấu hình khi bật đồng thời cả ba tối ưu hóa. Nvidia cho biết nếu mô hình nháp MTP không dùng chung toàn bộ mô-đun LM head, một số tối ưu hóa có thể không được áp dụng và hiệu suất có thể thấp hơn cấu hình cơ sở. Hãng khuyến nghị xác nhận từng tính năng đã được kích hoạt khi bắt đầu triển khai.