CXL 260 làn của Marvell nhắm tới nút thắt bộ nhớ AI

Marvell Technology($MRVL) sẽ giới thiệu chiến lược dùng bộ chuyển mạch CXL 260 làn để xử lý nút thắt bộ nhớ và lưu trữ trong hạ tầng AI. Động thái này diễn ra khi mô hình ngôn ngữ lớn(LLM) mở rộng khả năng xử lý ngữ cảnh, khiến áp lực của trung tâm dữ liệu không chỉ nằm ở sức mạnh tính toán mà còn lan sang dung lượng bộ nhớ, băng thông và cấu trúc dịch chuyển dữ liệu.

Marvell sẽ tổ chức các bài trình bày và phiên thảo luận về bộ nhớ, lưu trữ cho hạ tầng AI tại Future of Memory and Storage 2026, diễn ra tại Santa Clara, California, Mỹ, từ ngày 5 đến 7 theo giờ Hàn Quốc. Chương trình bao gồm các chủ đề như “đổi mới lưu trữ dữ liệu cho hạ tầng AI có thể mở rộng”, “kỷ nguyên lấy bộ nhớ làm trung tâm: CXL và tương lai của hạ tầng AI có thể mở rộng”, cùng “CXL-PNM đa dụng: vượt qua bức tường bộ nhớ của khối lượng công việc AI thâm dụng bộ nhớ”.

Trọng tâm của sự kiện là “bức tường bộ nhớ AI”. Khi quy mô LLM tăng và cửa sổ ngữ cảnh dài hơn, nhu cầu với KV cache cũng tăng theo. KV cache là dữ liệu lưu lại hội thoại hoặc ngữ cảnh trước đó để mô hình AI không phải tính toán lại, qua đó ảnh hưởng trực tiếp đến tốc độ suy luận và chi phí vận hành.

Marvell ngày 17 tháng 3 đã công bố bộ chuyển mạch CXL thế hệ mới “Structera S 30260”. Đây là sản phẩm 260 làn hỗ trợ gom bộ nhớ ở cấp rack, được thiết kế để CPU, GPU và các bộ tăng tốc như XPU có thể truy cập tài nguyên bộ nhớ tách rời bên ngoài máy chủ. Sản phẩm hỗ trợ CXL 3.0, với băng thông tổng hợp tối đa 4 terabyte mỗi giây.

Rishi Chugh (Rishi Chugh), phó chủ tịch kiêm tổng giám đốc bộ phận chuyển mạch trung tâm dữ liệu của Marvell, nói: “Để vượt qua bức tường bộ nhớ AI, cần có một thay đổi kiến trúc mang tính nền tảng”. Nhận định này hàm ý bộ nhớ cần được chuyển từ tài nguyên cố định trong từng máy chủ thành tài nguyên có thể chia sẻ và phân bổ trong cùng một rack.

Trong phần mô tả sản phẩm do Marvell công bố, Structera S 30260 hỗ trợ 16 hoặc 32 CPU·GPU và tối đa 48 terabyte bộ nhớ chia sẻ. Trong thử nghiệm nội bộ của Marvell, khi một pool bộ nhớ 16 terabyte được chia sẻ bởi 8 GPU và 2 máy chủ CPU, thông lượng suy luận tăng 4,8 lần, còn thời gian tạo token đầu tiên giảm 82,7%.

Lưu trữ cũng nổi lên như một trục mở rộng khác của hạ tầng AI. Nvidia($NVDA) cung cấp tầng lưu trữ dựa trên flash cho KV cache phục vụ suy luận ngữ cảnh dài thông qua nền tảng lưu trữ bộ nhớ ngữ cảnh CMX dùng BlueField-4. Nvidia giải thích mục tiêu là nâng thông lượng token mỗi giây duy trì và hiệu suất điện năng lên tối đa 5 lần trong các khối lượng công việc ngữ cảnh dài và dạng tác nhân.

Marvell và Nvidia cũng đang mở rộng hợp tác trong hạ tầng AI. Hai công ty ngày 31 tháng 3 công bố hợp tác trong hệ sinh thái nhà máy AI và AI-RAN dựa trên NVLink Fusion. Marvell sẽ cung cấp XPU tùy chỉnh và mạng scale-up tương thích NVLink Fusion, trong khi hai bên cũng nhất trí hợp tác trong công nghệ quang tử silicon.

Các nội dung được công bố lần này tập trung vào bán dẫn, bộ nhớ và hạ tầng lưu trữ cho trung tâm dữ liệu AI, thay vì tài sản số hay phát hành token. Tuy vậy, xu hướng này có điểm giao với việc các doanh nghiệp khai thác Bitcoin tận dụng nguồn điện và cơ sở vật chất hiện có để mở rộng sang AI và điện toán hiệu năng cao. Chưa có xác nhận về mối liên hệ trực tiếp với giá của một tài sản số cụ thể hoặc nhu cầu token.

Marvell dự kiến bắt đầu lấy mẫu khách hàng cho Structera S 30260 trong quý 3 năm 2026. Bộ chuyển mạch CXL 2.0 Structera S 20256 hiện đã bước vào giai đoạn sản xuất.