SK hynix ($SKHY) trình diễn chia sẻ bộ nhớ CXL, lưu KV cache trên SSD

SK hynix công bố hệ thống AI dạng rack kết hợp nhiều loại bộ nhớ, ngoài bộ nhớ băng thông cao HBM. Solidigm và Metrum AI trình diễn cách lưu dữ liệu xử lý AI trên SSD, còn Nallasway đề xuất kết nối DRAM bên ngoài với bộ xử lý AI.

Sự kiện diễn ra từ ngày 12 đến 15 tháng 10 năm 2026 tại San Jose, bang California, Mỹ, trong khuôn khổ Hội nghị Thượng đỉnh Toàn cầu Open Compute Project (OCP). Theo số liệu OCP công bố, sự kiện có khoảng 15.000 người tham dự.

Hệ thống rack AI lấy bộ nhớ làm trung tâm MARS do SK hynix giới thiệu tích hợp thiết bị và giải pháp từ nhiều nhà cung cấp vào một rack, với bộ nhớ làm trọng tâm. Công ty mô tả đây là hệ thống cho phép nhiều máy chủ lấy lượng bộ nhớ cần dùng từ một pool bộ nhớ.

Cùng với đó, SK hynix giới thiệu mô-đun CMM-DDR5 thế hệ thứ hai dựa trên CXL 3.2. Mô-đun có dung lượng 256 GB và băng thông 80 GB mỗi giây. Công ty cho biết băng thông cao hơn hai lần so với thế hệ trước, còn hiệu quả năng lượng tăng khoảng 30%; mức hiệu quả này được so sánh giữa các mô-đun.

CXL là tiêu chuẩn kết nối các thành phần trong máy chủ, như CPU, GPU và bộ nhớ bên ngoài. Pooling bộ nhớ là cách gộp bộ nhớ được kết nối thành một pool để nhiều máy chủ hoặc bộ xử lý cùng sử dụng.

SK hynix cũng trình bày kết quả kiểm chứng khái niệm thực hiện cùng Naver Cloud. Nhóm thử nghiệm việc chia sẻ KV cache trong môi trường tác nhân AI và chia sẻ embedding trên dịch vụ đa phương thức OmniServe.

KV cache là dữ liệu lưu tạm kết quả tính toán khi mô hình ngôn ngữ lớn xử lý các đầu vào trước đó. Khi cuộc trò chuyện dài hơn và các tác vụ gồm nhiều bước nối tiếp, lượng thông tin cần lưu tăng lên, khiến dung lượng bộ nhớ và cách xử lý trở nên quan trọng.

Trong một phần trình diễn MARS, SK hynix phối hợp với Arcee, Liqid và Marvell để kết nối nhiều máy chủ và GPU với pool bộ nhớ. Công ty cho biết việc truyền hoặc tái sử dụng KV cache qua pool CXL cho thấy hiệu năng hệ thống được cải thiện so với phương thức hiện tại phụ thuộc vào giao tiếp mạng.

SK hynix cũng trình diễn một rack bộ nhớ kết hợp bộ nhớ CXL, DRAM và SSD cùng AMD, Penguin, Xcena và Arcee. Hệ thống dự đoán KV cache cần thiết dựa trên lịch sử tác vụ rồi tải trước dữ liệu đó vào DRAM; toàn bộ cache được lưu trên SSD để đọc lại khi cần.

Trong một buổi trình diễn khác, SK hynix phối hợp với Pickle, nhà cung cấp dịch vụ tác nhân AI cá nhân, để giảm độ trễ phản hồi bằng pool bộ nhớ. Công ty mô tả phương thức này là truyền dữ liệu nhanh giữa nhiều mô hình AI bằng streaming dựa trên pool bộ nhớ. Phần trình bày về MARS cũng có trong danh sách nội dung ghi hình chính thức của OCP.

Trong buổi trình diễn chung, Solidigm và Metrum AI dùng pool SSD chia sẻ làm nơi lưu KV cache. Thay vì giữ toàn bộ thông tin trong bộ nhớ đắt tiền đặt gần bộ xử lý, hệ thống chuyển dữ liệu đã xử lý sang tầng SSD rồi tải lại khi cần.

Thời gian tạo token đầu tiên là khoảng thời gian từ lúc gửi câu hỏi đến khi AI đưa ra phản hồi đầu tiên. CryptoBriefing đưa tin buổi trình diễn chung giúp rút ngắn thời gian này tối đa 64,8 lần, tăng thông lượng 40,7 lần và giảm mức tiêu thụ năng lượng trên mỗi yêu cầu GPU 26,5 lần so với phương thức hiện tại.

Cùng bài đưa tin đó, Nallasway đề xuất kết nối trực tiếp mô-đun DRAM bên ngoài với XPU, bộ xử lý bao quát các tác vụ AI. Cấu hình sử dụng LPDDR5X để mở rộng bộ nhớ lên 3,2 TB.

SK hynix cũng trưng bày CMM-Ax, giải pháp thế hệ tiếp theo thực hiện tính toán trực tiếp bên trong bộ nhớ. Công ty cho biết cách xử lý dữ liệu tại bộ nhớ mà không cần di chuyển dữ liệu có thể giảm gánh nặng về điện năng và chi phí; hãng cũng trình diễn khả năng tăng tốc suy luận với ngữ cảnh dài.

Trong khi các thông tin trước đây tập trung vào thị phần HBM của SK hynix, lần công bố này chú trọng cách phân bổ bộ nhớ giữa các máy chủ. Để sử dụng đồng thời pool bộ nhớ CXL, DRAM và SSD, phần mềm cần quyết định vị trí lưu từng loại dữ liệu và thời điểm di chuyển chúng.

Những nội dung được công bố hiện là đề xuất sản phẩm và các buổi trình diễn. Việc triển khai thực tế cũng cần phần mềm quản lý cách sắp xếp và di chuyển dữ liệu giữa các tầng bộ nhớ.