Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

74% mức tăng năng lực suy luận AI được ước tính đến từ Blackwell của Nvidia (NVDA)

Mô-đun tăng tốc GPU được kết nối bằng liên kết tốc độ cao / TokenPost.ai

Blackwell và Blackwell Ultra của Nvidia (NVDA) được ước tính đóng góp 74% phần năng lực suy luận dành cho tác nhân AI tăng thêm từ quý II/2025 đến quý II/2026. Tỷ lệ này được tính bằng cách kết hợp ước tính doanh số chip với số yêu cầu có thể xử lý đồng thời trong các điều kiện tác vụ cố định.

Epoch AI cho biết trong phân tích công bố ngày 18, năng lực suy luận của lượng chip AI bán ra trong cùng kỳ tăng gấp 4,6 lần. Khả năng tính toán 8-bit tối đa của các chip này tăng gấp 2,6 lần. Cả hai mức tăng đều được tính với quý II/2025 làm mốc.

Con số 74% thể hiện phần đóng góp vào năng lực mới tăng thêm trong một năm, không phải tỷ trọng của dòng Blackwell trong tổng năng lực suy luận. Tính đến quý II/2026, Blackwell và Blackwell Ultra chiếm khoảng 73% tổng năng lực suy luận cộng dồn, nhưng chiếm 50% khả năng tính toán 8-bit tối đa.

Trong báo cáo Chỉ số Hiệu năng Suy luận (Inference Performance Index) công bố ngày 9, Epoch AI ước tính mỗi chip GB300 có thể xử lý yêu cầu của tác nhân AI với năng lực gấp khoảng 25 lần H100 và 8 lần H200. Trong khi đó, số phép tính 8-bit tối đa mỗi giây của GB300 chỉ gấp khoảng 2,5 lần H100.

So sánh này không có nghĩa GB300 nhanh hơn H100 25 lần trong mọi tác vụ AI. Báo cáo tính số yêu cầu mỗi chip có thể xử lý đồng thời với bốn mô hình tiêu biểu trong cùng điều kiện tác vụ.

Tác nhân AI có thể tiếp tục sử dụng nội dung từ các cuộc hội thoại hoặc hồ sơ công việc trước đó, nên ngữ cảnh dài là yếu tố quan trọng khi so sánh năng lực xử lý. Báo cáo lấy các tác vụ có tái sử dụng ngữ cảnh như vậy làm cơ sở.

Tốc độ đầu ra cần thiết cho mỗi yêu cầu cũng được thay đổi trong khoảng 50–400 token mỗi giây. Token là đơn vị mà mô hình AI sử dụng để xử lý hoặc tạo văn bản.

Ngoài tốc độ tính toán, lượng thông tin có thể lưu trong bộ nhớ, tốc độ đọc dữ liệu và tốc độ trao đổi giữa nhiều chip cũng ảnh hưởng đến số yêu cầu có thể xử lý đồng thời. Vì vậy, khó so sánh năng lực suy luận chỉ dựa trên khả năng tính toán tối đa.

Báo cáo đánh giá GB300 trong một hệ thống có 72 GPU kết nối tốc độ cao. Kết quả phụ thuộc vào môi trường vận hành, bao gồm cấu hình kết nối, chứ không chỉ vào thông số của một chip.

Khi so sánh các hệ thống B300 có cách kết nối khác với cùng dòng Blackwell Ultra, ước tính năng lực suy luận trên mỗi chip chênh lệch khoảng 1,9 lần. Điều này cho thấy cách bố trí GPU có thể làm thay đổi đánh giá hiệu năng suy luận của các chip cùng dòng.

Năng lực tính toán dựa trên Blackwell cũng xuất hiện trong các thỏa thuận cung ứng giữa doanh nghiệp. TokenPost trước đó đưa tin Corvex công bố hợp đồng cung cấp năng lực tính toán dựa trên Blackwell cho một nền tảng suy luận AI.

Epoch AI tính tổng năng lực suy luận bằng cách nhân ước tính số chip bán ra theo từng loại với điểm Chỉ số Hiệu năng Suy luận trên mỗi chip, rồi cộng các kết quả. Cùng một nhóm tác vụ được áp dụng cho mọi quý để so sánh năng lực.

Mức tăng 4,6 lần của năng lực cộng dồn không chỉ phản ánh đóng góp của chip bán mới trong một năm. Để tham khảo, lượng chip bán trong quý II/2026 được tính là bổ sung năng lực suy luận gấp 3,3 lần lượng chip bán trong quý II/2025.

Phép tính cũng dựa trên các giả định về cấu hình hệ thống. Với một số chip, Epoch AI giả định 60% được triển khai trong hệ thống rack GB/NVL72 và 40% trong máy chủ B/HGX; phân tích không tính đến khác biệt về hiệu quả phần mềm.

Khoảng tăng trưởng năng lực suy luận trong một năm, sau khi tính đến bất định về doanh số và cấu hình phần cứng, là 4,2–5,1 lần. Epoch AI cho biết khoảng này phản ánh bất định trong ước tính doanh số và giả định cấu hình, nhưng không bao gồm bất định về hiệu năng chip được mô hình hóa.

Do đó, các con số 74% và 4,6 lần là kết quả so sánh năng lực dựa trên ước tính doanh số và điều kiện tác vụ cố định dành cho tác nhân AI, không phải số liệu hiệu suất thực tế của mọi trung tâm dữ liệu.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1