75-100EB: Dự báo nhu cầu NAND AI của SanDisk(SNDK)

SanDisk(SNDK) vừa xác định “bộ nhớ đệm KV” (KV cache) trong quá trình suy luận trí tuệ nhân tạo (AI) là trục nhu cầu mới cho NAND flash. Theo tài liệu chính thức của công ty, con số cốt lõi được đưa ra là khả năng phát sinh thêm 75-100 exabyte (EB) nhu cầu NAND vào năm 2027.

KV cache là dữ liệu trung gian giúp các mô hình ngôn ngữ lớn (LLM) không phải tính toán lại ngữ cảnh trước đó. Khi độ dài hội thoại tăng và số lượng kết nối đồng thời nhiều hơn, bộ nhớ băng thông cao (HBM) bên trong bộ xử lý đồ họa (GPU) một mình khó có thể xử lý hết lượng dữ liệu này.

Crypto Briefing đưa tin SanDisk dự báo KV cache có thể chiếm 35% khối lượng công việc NAND tại các trung tâm dữ liệu AI vào năm 2030. Tuy nhiên, con số này chưa được xác nhận trong tài liệu chính thức của SanDisk.

Số liệu được xác nhận qua tài liệu chính thức là nội dung công bố kết quả kinh doanh của công ty. Trong buổi công bố kết quả kinh doanh ngày 29 tháng 1, SanDisk cho biết nhu cầu KV cache năm 2027 có thể tạo ra thêm 75-100EB nhu cầu NAND, và con số này có thể tăng gấp đôi vào năm sau đó. Công ty cũng nói rõ số liệu này chưa được đưa vào dự báo nhu cầu hiện tại của hãng.

KV cache ảnh hưởng trực tiếp đến chi phí suy luận AI và tốc độ phản hồi. Khi mô hình xử lý hội thoại trước đó hoặc văn bản dài, việc tính toán lại toàn bộ ngữ cảnh mỗi lần sẽ làm tăng cả khối lượng tính toán GPU lẫn mức sử dụng bộ nhớ. Vì vậy, ngành công nghiệp đang bàn đến phương án chuyển một phần dữ liệu xuống các tầng lưu trữ nằm ngoài HBM.

Samsung Electronics giải thích trên blog bán dẫn chính thức rằng việc chuyển tải KV cache (KV cache offloading) là cách giải quyết nút thắt lưu trữ trong suy luận AI. Hewlett Packard Enterprise (HPE) cũng giới thiệu cách tiếp cận phân tầng, sử dụng kết hợp HBM, bộ nhớ bộ xử lý trung tâm (CPU) và ổ cứng thể rắn (SSD) chuẩn NVMe.

Thông điệp của SanDisk rộng hơn một lời quảng bá đơn thuần về mở rộng doanh số NAND. Đây là lập luận cho rằng thiết bị lưu trữ trong hạ tầng AI có thể vượt ra khỏi vai trò kho lưu dữ liệu huấn luyện, đảm nhận thêm vai trò kho lưu ngữ cảnh trong quá trình suy luận. Điều này cũng liên quan đến xu hướng giảm nút thắt dữ liệu suy luận của Nvidia mà TokenPost từng đưa tin.

Ngày 2 tháng 7, SanDisk công bố lấy mẫu sản phẩm BiCS10 1Tb TLC 3D NAND. Công ty cho biết sản phẩm này đạt tốc độ giao diện tối đa 4,8Gb/s, cải thiện mật độ bit 59% so với BiCS8, đồng thời giảm 10% điện năng đầu vào và 34% điện năng đầu ra.

Sản phẩm này nhắm đến môi trường mà các trung tâm dữ liệu AI cần xử lý nhiều dữ liệu ngữ cảnh hơn với mức tiêu thụ điện thấp hơn. Với dịch vụ suy luận, khi số lượng yêu cầu từ người dùng tăng lên, hiệu quả của việc di chuyển và lưu trữ dữ liệu, chứ không chỉ riêng năng lực tính toán, sẽ quyết định cấu trúc chi phí.

Hợp tác với SK Hynix cũng nằm trong cùng định hướng này. SanDisk và SK Hynix đã ký biên bản ghi nhớ (MOU) về tiêu chuẩn hóa bộ nhớ flash băng thông cao (HBF - High Bandwidth Flash) vào ngày 6 tháng 8 năm 2025.

SanDisk đặt mục tiêu ra mẫu HBF đầu tiên vào nửa cuối năm 2026, và mẫu thiết bị suy luận AI đầu tiên trang bị HBF vào đầu năm 2027. HBF được mô tả là công nghệ nhắm đến băng thông tương đương HBM nhưng cho dung lượng gấp 8-16 lần với cùng mức chi phí.

TokenPost trước đó đã đưa tin về việc SK Hynix và SanDisk công bố quy cách chuẩn HBF đầu tiên. Quy cách được công bố khi đó hỗ trợ dung lượng tối đa 512GB và băng thông khoảng 0,4-3,0TB/s.

Tuy nhiên, điều này không có nghĩa là flash sẽ thay thế hoàn toàn HBM. Flash có những giới hạn khác với HBM về độ bền khi ghi dữ liệu và độ trễ. Các cuộc thảo luận trong ngành cũng tập trung vào việc khối lượng công việc nào có thể chuyển xuống tầng lưu trữ nào, hơn là việc SSD thay thế bộ nhớ GPU.

Tính kinh tế của giải pháp này phụ thuộc vào tỷ lệ trúng bộ nhớ đệm (cache hit rate), độ dài ngữ cảnh, số phiên hoạt động đồng thời và thời gian lưu giữ dữ liệu. Cùng là suy luận AI, nhưng dịch vụ có nhiều truy vấn ngắn và dịch vụ tái sử dụng ngữ cảnh dài nhiều lần có thể mang lại hiệu quả khác nhau khi dùng các tầng lưu trữ.

SanDisk hoàn tất việc tách khỏi Western Digital vào ngày 24 tháng 2 năm 2025 và bắt đầu giao dịch độc lập trên sàn Nasdaq với mã SNDK. Nhu cầu KV cache và lộ trình HBF mà công ty đưa ra cho thấy hạ tầng suy luận AI đang dịch chuyển từ bài toán hiệu năng tính toán sang bài toán dung lượng bộ nhớ và cấu trúc di chuyển dữ liệu. Tác động thực tế đến nhu cầu NAND và doanh thu sẽ còn phải chờ kết quả lấy mẫu sản phẩm và ứng dụng thực tế tại các trung tâm dữ liệu.

Nguồn xác minh: Crypto Briefing, tài liệu quan hệ nhà đầu tư của SanDisk, công bố BiCS10 của SanDisk, blog bán dẫn Samsung Electronics, blog nhà phát triển HPE.