Thời gian tạo token đầu tiên giảm khoảng 81% trong thử nghiệm bộ nhớ chia sẻ của SK hynix($SKHY)

Trong một thử nghiệm suy luận lặp lại, thời gian tạo token đầu tiên với DRAM CXL từ xa ngắn hơn khoảng 81% so với cách tính toán lại.

SK hynix($SKHY) công bố đề xuất dùng chung bộ nhớ giữa nhiều máy chủ AI tại “Hội nghị thượng đỉnh AI Intel($INTC) Seoul 2026” ở Seoul ngày 12. Bản tiếng Anh của ChosunBiz cũng đưa tin về sự kiện và kết quả thử nghiệm.

Hiện nay, máy chủ AI xử lý dữ liệu bằng cách đặt bộ nhớ băng thông cao (HBM) gần bộ xử lý đồ họa (GPU). Tuy nhiên, không gian để lắp thêm bộ nhớ quanh GPU có hạn.

SK hynix đề xuất một bộ nhớ dùng chung dung lượng lớn, được đặt trong một rack riêng để nhiều máy chủ cùng sử dụng. Giải pháp này bổ sung dung lượng bộ nhớ mà không thay thế cấu hình máy chủ hiện có.

Mỗi máy chủ vẫn dùng bộ nhớ riêng. Khi một máy chủ hoàn tất tác vụ, nó có thể lưu kết quả trung gian vào bộ nhớ dùng chung để máy chủ tiếp nhận tác vụ tiếp theo truy xuất và sử dụng lại.

Intel đề xuất phân chia vai trò trong AI tác nhân: CPU phân loại yêu cầu và giao việc, còn GPU đảm nhiệm tính toán mô hình. Một yêu cầu có thể kéo theo nhiều bước như tìm kiếm, chạy chương trình và kiểm tra kết quả.

Một loại dữ liệu được dùng trong quy trình này là bộ nhớ đệm KV (KV cache). Mô hình AI tạm lưu nội dung đã tính toán trong các cuộc trò chuyện hoặc tác vụ để sử dụng cho lần suy luận tiếp theo.

Khi cuộc trò chuyện kéo dài, bộ nhớ đệm KV cũng lớn lên. Nếu bộ nhớ GPU không đủ và dữ liệu đã lưu bị chuyển ra ngoài, hệ thống có thể phải tính toán lại nội dung đó trong các tác vụ sau.

Trong thử nghiệm suy luận lặp lại của SK hynix, cách xóa bộ nhớ đệm và tính toán lại mất trung bình 80,76 giây để tạo token đầu tiên. Thời gian là 33,56 giây khi lưu bộ nhớ đệm trên SSD ngoài và 15,45 giây khi lưu trên DRAM CXL từ xa.

Mức giảm khoảng 81% là kết quả so sánh giữa cách tính toán lại và cách dùng DRAM CXL từ xa. Đây là thời gian tạo token đầu tiên trong một thử nghiệm cụ thể, không có nghĩa tốc độ xử lý tổng thể của dịch vụ AI cũng cải thiện theo cùng tỷ lệ.

Compute Express Link (CXL) là chuẩn kết nối cho phép CPU hoặc GPU truy cập bộ nhớ bên ngoài. SK hynix đã thử nghiệm cách dùng DRAM CXL từ xa để nhiều máy chủ chia sẻ dữ liệu bộ nhớ.

Joo Young-pyo (주영표), Phó chủ tịch SK hynix kiêm người phụ trách kiến trúc hệ thống, cho biết: “Thời gian truy xuất dữ liệu lâu hơn so với lấy từ bộ nhớ kết nối trực tiếp với GPU hoặc CPU, nhưng hiệu năng vẫn tốt hơn nhiều so với tính toán lại”. Ông giải thích rằng dù bộ nhớ từ xa có độ trễ, việc giảm nhu cầu tính toán lại vẫn đem lại hiệu quả.

Hai công ty đã duy trì hợp tác về bộ nhớ máy chủ. Tháng 12/2025, SK hynix thông báo là công ty đầu tiên trong ngành hoàn tất chứng nhận trung tâm dữ liệu cho RDIMM DDR5 256GB trên nền tảng Intel Xeon 6.

Chứng nhận khi đó kiểm tra khả năng tương thích giữa mô-đun bộ nhớ máy chủ và nền tảng Intel. Đề xuất lần này tập trung vào cấu trúc hệ thống cho phép nhiều máy chủ cùng sử dụng bộ nhớ đặt trong rack riêng.

SK hynix đang xác minh công nghệ chia sẻ bộ nhớ với khách hàng và đối tác, đồng thời hợp tác với Intel từ giai đoạn thiết kế hệ thống.