256 LPU mỗi rack: Nvidia(NVDA) xác nhận sản xuất Groq 3 LPX, cung ứng nửa cuối năm

Nvidia(NVDA) giới thiệu bộ tăng tốc suy luận trí tuệ nhân tạo (AI) Groq 3 LPX như thiết bị xử lý độ trễ thấp trong nền tảng Vera Rubin. Cấu trúc mỗi rack gồm 256 LPU và 128GB SRAM tích hợp trên chip.

Nvidia(NVDA) cho biết trong thông cáo báo chí ngày 16 tháng 3 rằng 7 loại chip cấu thành nền tảng Vera Rubin đã bước vào giai đoạn sản xuất. Các thành phần gồm CPU Vera, GPU Rubin, switch NVLink 6, SuperNIC ConnectX-9, DPU BlueField-4, switch Ethernet Spectrum-6 và LPU Groq 3.

Groq 3 LPX là thiết bị tập trung vào suy luận (inference) hơn là huấn luyện (training). Suy luận là quá trình mô hình AI tạo ra câu trả lời sau khi nhận đầu vào, trong đó độ trễ phản hồi và hiệu suất điện năng được xem là chỉ số hiệu năng cốt lõi đối với chatbot và các dịch vụ AI dạng agent.

Rack Groq 3 LPX mà Nvidia(NVDA) công bố gồm 32 khay tính toán 1U làm mát bằng chất lỏng. Mỗi khay chứa 8 LPU, tổng cộng toàn rack có 256 LPU.

Theo giải thích của công ty, mỗi LPU cung cấp 500MB SRAM và băng thông SRAM 150TB/giây. Ở cấp độ rack, các thông số được công bố gồm SRAM tích hợp trên chip 128GB, băng thông SRAM 40PB/giây, băng thông scale-up 640TB/giây và hiệu năng tính toán FP8 đạt 315PFLOPS.

Trong bài viết trên blog kỹ thuật, Nvidia(NVDA) giải thích rằng Vera Rubin NVL72 đảm nhận việc xử lý đầu vào và tính toán attention cho các mô hình quy mô lớn, trong khi Groq 3 LPX bổ trợ cho công đoạn nhạy cảm về độ trễ trong quá trình tạo đầu ra. Theo con số Nvidia(NVDA) đưa ra, khi kết hợp cả hai thiết bị, thông lượng suy luận trên mỗi megawatt đối với các mô hình có quy mô tham số hàng nghìn tỷ có thể tăng tối đa 35 lần.

Đây là số liệu hiệu năng do Nvidia(NVDA) công bố và có thể thay đổi tùy theo cấu trúc mô hình, điều kiện điện năng, cấu hình mạng và thiết kế làm mát trong môi trường trung tâm dữ liệu thực tế. Điều này cho thấy cuộc đua hiệu năng hạ tầng AI đang dịch chuyển từ hiệu năng chip đơn lẻ sang thiết kế hệ thống theo đơn vị rack.

Một số báo Trung Quốc đưa tin tốc độ đầu ra của Groq 3 LPX đạt 3.400 token mỗi giây, tuy nhiên con số này không xuất hiện trực tiếp trong các bảng thông số chính của thông cáo báo chí và blog kỹ thuật do Nvidia(NVDA) công bố. Do đó, trọng tâm bài viết nên đặt vào các thông số cấp rack đã được xác nhận cùng lịch trình sản xuất, cung ứng.

Lý do Groq 3 LPX thu hút sự chú ý gắn liền với cấu trúc chi phí vận hành dịch vụ AI. Các doanh nghiệp vận hành mô hình quy mô lớn không chỉ cần tài nguyên tính toán cho huấn luyện, mà còn phải giảm chi phí suy luận khi xử lý yêu cầu người dùng theo thời gian thực.

Thông thường, trong trung tâm dữ liệu AI, GPU, CPU, thiết bị mạng, bộ nhớ và hệ thống làm mát vận hành như một thể thống nhất. Nếu xảy ra nghẽn cổ chai ở khâu suy luận, các thiết bị tính toán đắt tiền sẽ không được khai thác hết công suất, đồng thời chi phí điện năng và truyền tải dữ liệu cũng tăng theo.

Chiến lược của Nvidia(NVDA) cũng nhắm vào điểm này. Như bài viết trước đó của TokenPost từng đưa tin Nvidia(NVDA) đang đẩy nhanh sản xuất chip Groq và cung ứng cho khách hàng, hạ tầng suy luận độ trễ thấp đang trở thành một trục trong cuộc đua xây dựng AI factory.

Tuy nhiên, vấn đề cung ứng LPU cho thị trường Trung Quốc cần được nhìn nhận riêng biệt. Trước đó, Nvidia(NVDA) từng cho biết không bán LPU tại thị trường Trung Quốc và cũng không có sản phẩm LPU riêng cho Trung Quốc trong lộ trình phát triển.

Jensen Huang – Giám đốc điều hành (CEO) Nvidia(NVDA) – trong bài phát biểu khai mạc GTC 2026 cho biết chip Groq đang trong quá trình sản xuất và dự kiến xuất xưởng vào nửa cuối năm, khoảng quý III. Nvidia(NVDA) giải thích rằng Groq 3 LPX có thể được ứng dụng vào các AI factory sử dụng nền tảng Vera Rubin trong nửa cuối năm nay.

Đối với thị trường Hàn Quốc, điểm cần theo dõi là mức độ kết nối với chuỗi cung ứng linh kiện bộ nhớ, máy chủ, mạng và làm mát. Tác động thực tế chỉ có thể đánh giá sau khi quy mô xuất xưởng của Groq 3 LPX và tốc độ triển khai của khách hàng được xác nhận.