192GB HBM4: Rubin Ultra có thể thấp hơn cả Rubin thường

Cấu hình bộ nhớ chủ lực của Rubin Ultra, dòng chip tăng tốc AI thế hệ tiếp theo của Nvidia(NVDA), được cho là có thể giảm xuống còn 192GB HBM4. Con số này thấp hơn nhiều so với mức bộ nhớ băng thông cao (HBM) 1TB từng được thị trường đồn đoán trước đó, và nếu đúng, có thể tác động tới cách thiết kế bộ nhớ, điện năng cũng như đóng gói cho các trung tâm dữ liệu AI.

SemiAnalysis đưa ra cấu hình Rubin Ultra trang bị HBM4 192GB dạng xếp 8 lớp (8-hi). Mức này giảm mạnh so với con số 1TB từng xuất hiện trong các bản xem trước ban đầu, và cũng thấp hơn mức 288GB của Rubin bản tiêu chuẩn. Tom's Hardware cũng đưa tin rằng Nvidia đang thử nghiệm cấu hình bộ nhớ 192GB hoặc 256GB cho Rubin Ultra.

Trọng tâm của việc điều chỉnh cấu hình nằm ở HBM. SemiAnalysis giải thích rằng thiết kế Rubin Ultra dựa trên 4 die đã bị hủy, khiến số lượng cụm HBM giảm còn 8, đồng thời số lớp xếp chồng giảm từ 16 lớp xuống 8 lớp. Ngoài ra, cấu hình được đề cập sử dụng HBM4 với die 24Gb, thay vì HBM4E với die 32Gb.

Trên blog kỹ thuật chính thức, Nvidia cho biết GPU Rubin bản tiêu chuẩn cung cấp tối đa 288GB HBM4 với băng thông 22TB/s. Theo mốc này, cấu hình 192GB có dung lượng thấp hơn cả Rubin tiêu chuẩn. Tom's Hardware dẫn lời Nvidia cho biết hãng đang "tối ưu hóa compute, kết nối mạng và bộ nhớ để triển khai được nhiều GPU và hệ thống AI hơn".

Diễn biến này cũng liên quan đến chuỗi cung ứng bán dẫn Hàn Quốc, bởi HBM là linh kiện ảnh hưởng trực tiếp đến chi phí và tiến độ cung ứng của máy chủ AI. TokenPost từng đưa tin về phân tích cho rằng chi phí bộ nhớ có thể chiếm hơn một nửa giá thành của Rubin Ultra. Việc giảm dung lượng bộ nhớ, vì vậy, không hẳn là bước lùi về hiệu năng, mà có thể là điều chỉnh để cân bằng giữa nguồn cung HBM, điện năng tiêu thụ và tỷ lệ thành phẩm trong đóng gói.

Trong các trung tâm dữ liệu AI hiện nay, khả năng mở rộng theo rack và cấu hình mạng đang trở nên quan trọng không kém hiệu năng của từng GPU riêng lẻ. Nvidia đã giới thiệu đồng thời NVLink 6, Ethernet Spectrum-6 và cấu trúc mạng dựa trên CPO trong nền tảng Rubin. TokenPost trước đó từng đưa tin về cấu trúc switch dựa trên CPO hỗ trợ xây dựng các AI factory quy mô lớn trên nền tảng Vera Rubin.

SemiAnalysis cũng đề cập khả năng sẽ có phiên bản nâng cấp HBM4E 8 lớp ra mắt sau đó. Tuy nhiên, thông số sản phẩm cuối cùng của Rubin Ultra cũng như thời điểm áp dụng vẫn cần được Nvidia xác nhận chính thức.