607,8 token/giây với 16 yêu cầu đồng thời: NVIDIA chạy GLM-5.3 trên hai DGX Station

NVIDIA (NVDA) chạy phân tán GLM-5.3 trên hai hệ thống GB300 DGX Station và ghi nhận tổng thông lượng 607,8 token/giây khi xử lý đồng thời 16 yêu cầu.

Ngày 13, NVIDIA công bố cách triển khai mô hình cùng kết quả thử nghiệm hiệu năng trong blog kỹ thuật. Station A mở API tương thích với OpenAI, còn Station B kết nối với vai trò máy công nhân; người dùng truy cập qua một API duy nhất.

GLM-5.3 là mô hình hỗn hợp chuyên gia (MoE) do Z.ai phát triển. Mô hình có tổng cộng 753 tỷ tham số, trong đó 40 tỷ tham số được kích hoạt khi xử lý token.

Phần thực hành sử dụng phiên bản mô hình gốc được lượng tử hóa theo phương thức NVFP4. Tệp checkpoint sau lượng tử hóa có dung lượng khoảng 464 GB, lớn hơn bộ nhớ băng thông cao HBM3e 252 GB trên một GPU GB300.

Checkpoint đầy đủ được sao chép vào ổ lưu trữ của từng hệ thống, nhưng khi chạy, hai GPU chia nhau xử lý trọng số và tính toán. Bộ nhớ của hai GPU không được gộp thành một; mô hình cũng chạy mà không chuyển trọng số sang bộ nhớ CPU.

Mỗi khi tạo token, hai hệ thống trao đổi kết quả trung gian qua kết nối RoCE. Vì vậy, việc chia mô hình để chạy cũng cần tính đến hoạt động giao tiếp giữa các GPU.

Phần thực hành dùng image vLLM v0.30.0-aarch64 và thiết lập kích thước song song tensor là 2. Độ dài ngữ cảnh tối đa được đặt ở mức 98.304 token, tính cả đầu vào và đầu ra.

NVIDIA cũng sử dụng bộ nhớ đệm KV FP8 và bộ nhớ đệm tiền tố. Tính năng dự đoán nhiều token (MTP) được cấu hình để tạo bản nháp gồm 4 token ở mỗi bước.

Hướng dẫn trình bày các bước từ kiểm tra kết nối, sao chép checkpoint, xác nhận phản hồi API đến kiểm tra giao tiếp giữa hai hệ thống. NVIDIA cũng đưa ra cách nạp mô hình lên cả hai máy và cấu hình dùng trong bài kiểm tra tải nội bộ.

Bài kiểm tra AIPerf của NVIDIA sử dụng 80 cuộc hội thoại, tổng cộng 89 lượt, từ bộ dữ liệu SPEED-Bench Coding. Cường độ suy luận được đặt ở mức mặc định “max”, giới hạn đầu ra là 8.192 token; các yêu cầu khởi động không được tính vào kết quả đo.

Tổng thông lượng đạt 107,4 token/giây với 1 yêu cầu đồng thời, 386,0 token/giây với 8 yêu cầu và 607,8 token/giây với 16 yêu cầu. Khi có 32 yêu cầu đồng thời, con số giảm còn 385,0 token/giây. Phép tính thông lượng bao gồm cả token suy luận.

Độ trễ trung bình của yêu cầu là 49,84 giây khi xử lý đồng thời 1 yêu cầu, 114,17 giây với 8 yêu cầu và 136,46 giây với 16 yêu cầu. Ở mức 32 yêu cầu, độ trễ tăng lên 453,54 giây.

Do đó, mức 607,8 token/giây là tổng thông lượng trong điều kiện xử lý đồng thời 16 yêu cầu, không đồng nghĩa với tốc độ phản hồi mà một người dùng nhận được. Kết quả được đo với bộ dữ liệu lập trình và các thiết lập bộ nhớ đệm, MTP do NVIDIA lựa chọn.

Trước đó, ngày 5 tháng 10, StorageReview thử nghiệm cùng mô hình trên hai hệ thống GB300 DGX Station. Với tác vụ có 512 token đầu vào và 512 token đầu ra, thông lượng đầu ra đạt 5.018 token/giây khi xử lý đồng thời 256 yêu cầu. Thử nghiệm khi đó dùng vLLM 0.27.1 và 5 token bản nháp MTP, nên điều kiện và cấu hình khác với lần này.

Trước đó, TokenPost đã đưa tin về kết quả thử nghiệm hiệu năng MTP của Nemotron 3.5 Lightning trên DGX Spark. Phép đo khi ấy tính số token được chấp nhận trên thiết bị và mô hình khác; thử nghiệm lần này đo tổng thông lượng khi xử lý đồng thời các yêu cầu lập trình.

NVIDIA cảnh báo trong ví dụ thực hành rằng mọi giao diện, bao gồm giao diện quản trị của Station A dùng để mở API, có thể bị lộ ra ngoài mà không cần xác thực. NVIDIA hướng dẫn cấu hình tường lửa, xác thực và TLS khi kết nối với dịch vụ bên ngoài.