Chỉ số suy luận AI tính cả bộ nhớ và kết nối giữa chip

Một chỉ số mô hình hóa số yêu cầu suy luận mà một bộ tăng tốc AI có thể xử lý đồng thời đã được công bố, có tính cả bộ nhớ và giao tiếp giữa các chip.

Nhật ký thay đổi của Epoch AI ghi nhận phiên bản 1 của Chỉ số Hiệu năng Suy luận (Inference Performance Index) được bổ sung ngày 19 tháng 10. Chỉ số này so sánh số yêu cầu giải mã đồng thời trên từng bộ tăng tốc, lấy GB300 của Nvidia (NVDA) làm mốc với điểm số 1.

Điểm số được tính bằng cách chuẩn hóa năng lực xử lý của từng mẫu trong 4 mô hình so với GB300 rồi lấy trung bình. Mỗi mô hình có trọng số như nhau; chênh lệch hiệu năng có thể thay đổi tùy mô hình và tốc độ tạo đầu ra.

Các mô hình được so sánh dựa trên kiến trúc của GLM-5.2, Kimi-K3, Qwen3-Coder 480B và MAI-Base-2. Mỗi yêu cầu sử dụng ngữ cảnh được lưu trong bộ nhớ đệm dài 262.144 token, với tốc độ đầu ra từ 50 đến 400 token mỗi giây.

Epoch AI giả định giai đoạn tiền nạp đầu vào và giải mã được xử lý trên các cụm chip riêng biệt. Năng lực tiền nạp đầu vào cũng được tính riêng, với giả định mỗi token đầu ra cần xử lý thêm 1,51 token đầu vào.

Thời gian chạy được ước tính bằng AISimulate của Nvidia. Dựa trên phép tính của mô hình và thông số phần cứng, công cụ tìm kiếm kích thước lô có thể lưu trong bộ nhớ cùng cấu hình song song, rồi chọn cấu hình có số yêu cầu đồng thời trên mỗi chip cao nhất ở từng tốc độ đầu ra.

Phép tính cũng giả định mỗi vòng giải mã suy đoán chấp nhận trung bình 3 token và tính đến trọng số chuyên gia có độ chính xác thấp. Epoch AI cho biết tỷ lệ chấp nhận token và chất lượng đầu ra ở các mức độ chính xác được xem là như nhau, cùng một số điều kiện khác, là các giả định của mô hình.

Chỉ số này không phải số người dùng đồng thời hay thời gian phản hồi đo được trên một dịch vụ thực tế. Chỉ số không tính hàng đợi hoặc thời gian tạm dừng khi gọi công cụ; chất lượng mô hình, mức tiêu thụ điện và giá cũng không nằm trong điểm số.

Bộ nhớ được tính đến khi xử lý ngữ cảnh dài

Tài liệu sản phẩm của Nvidia cho biết GB300 NVL72 là hệ thống kết nối 72 GPU Blackwell Ultra trong một giá máy chủ, mỗi GPU có 288 GB bộ nhớ HBM3e. H100 SXM có 80 GB bộ nhớ HBM3 trên mỗi GPU và băng thông bộ nhớ 3,35 TB mỗi giây.

Trong suy luận với ngữ cảnh dài, băng thông bộ nhớ để đọc thông tin đã lưu và giao tiếp giữa nhiều chip cũng ảnh hưởng đến thời gian chạy. Epoch AI ước tính thời gian xử lý dựa trên cả lượng phép tính, băng thông bộ nhớ và thông số kết nối giữa các chip.

Nvidia cho biết GB300 NVL72 có khả năng đáp ứng mỗi người dùng cao hơn nền tảng Hopper tối đa 10 lần. Đây là số liệu do công ty đưa ra, trong đó DeepSeek-R1 chạy trên GB300 với cấu hình FP4 và Dynamo, còn H100 sử dụng FP8 và cơ chế gom lô trong khi chạy. Do cách mô hình hóa và đối tượng đo khác nhau, không thể xem kết quả này là tương đương với chỉ số của Epoch AI.

Trong một trường hợp riêng, Nvidia trước đó cho biết thông lượng trên một GPU của Qwen3.8-Flash-Next trên GB300 vượt 16.000 token mỗi giây. Kết quả này cũng xuất phát từ một mô hình và cấu hình hệ thống cụ thể.

Bài kiểm tra xác thực công bố theo điều kiện riêng

Báo cáo MLPerf Endpoints v1.0 do MLCommons công bố ngày 4 tháng 11 ghi nhận kết quả chạy DeepSeek-V4.1-Flash trên hệ thống GB300 NVL72 có 4 GPU. Với 512 yêu cầu đồng thời, thông lượng hệ thống đạt 35.185,2 token mỗi giây; độ trễ phản hồi token đầu tiên ở phân vị thứ 90 là 310,8 mili giây. Kết quả được đánh dấu là đã xác thực.

Báo cáo không có kết quả H100 được đo trong cùng điều kiện. Vì vậy, đây không phải tài liệu so sánh cho thấy hệ số hiệu năng giữa hai sản phẩm hay xác minh con số tối đa 10 lần do Nvidia đưa ra.

Chỉ số của Epoch AI mô hình hóa năng lực xử lý trên mỗi bộ tăng tốc bằng cách lấy trung bình 4 mô hình và các mức tốc độ đầu ra, còn báo cáo MLPerf là kết quả thử nghiệm với một mô hình và cấu hình hệ thống cụ thể. Do điều kiện và đối tượng đo khác nhau, không thể đối chiếu trực tiếp hai con số.