AMD($AMD) và Unsloth ngày 19 công bố bổ sung hỗ trợ bộ xử lý thần kinh (NPU) AMD XDNA 2 cho Unsloth Desktop. Hơn 100 ứng dụng và quy trình AI dạng tác nhân hiện có thể kết nối với suy luận cục bộ dựa trên NPU thông qua API tương thích OpenAI.
Trong thông báo chính thức, AMD cho biết XDNA 2 NPU là NPU đầu tiên được Unsloth Desktop hỗ trợ. Cụm “đầu tiên trên thế giới” chỉ phạm vi hỗ trợ của ứng dụng, không có nghĩa toàn bộ công nghệ suy luận cục bộ dựa trên NPU lần đầu xuất hiện. Lemonade và FastFlowLM đảm nhiệm việc phục vụ mô hình và suy luận, còn CPU và GPU dành cho các tác vụ khác của tác nhân.
Các mục kết nối gồm △Hermes Agent △OpenClaw △Open WebUI △Cline △LangChain △GitHub Copilot. Blog công nghệ AMD cũng nêu OMP và Visual Studio Code.
◇ Cấu trúc vận hành và phạm vi hỗ trợ
AMD đã công bố màn trình diễn chạy mô hình chuyên gia hỗn hợp Qwen3.6 35B-A3B trên NPU XDNA 2 bằng Unsloth Desktop và FastFlowLM. Khi sử dụng toàn bộ ngữ cảnh, cần khoảng 28GB bộ nhớ NPU; AMD khuyến nghị 64GB RAM hệ thống trong cấu hình bộ nhớ chia sẻ mặc định của Windows. 64GB là mức khuyến nghị, không phải điều kiện bắt buộc.
Các thiết bị hỗ trợ thuộc dòng AMD Ryzen AI 300 (Strix Point, Kraken Point), Ryzen AI Max (Strix Halo) và Ryzen AI 400 (Gorgon Point), cùng NPU XDNA 2 trở lên. Hệ điều hành gồm Windows 11 và Linux x64. Trên Linux, cần kernel từ 7.0 trở lên với trình điều khiển amdxdna; kernel cũ dùng amdxdna-dkms. Hệ thống cũng yêu cầu firmware NPU mới nhất và thiết lập memlock không giới hạn.
Mô hình NPU sử dụng định dạng 4-bit Q4NX dành cho FastFlowLM. Mô hình GGUF thông thường không thể chạy trực tiếp trên NPU, nên phải chuyển sang Q4NX tương thích.
◇ Diễn giải số liệu và tuyên bố về điện năng
Tài liệu Unsloth ghi kích thước mô hình Qwen3.6-35B-A3B-NPU2 là 20.6GB và RAM hệ thống khuyến nghị là 64GB. AMD giải thích rằng chạy toàn bộ ngữ cảnh cần khoảng 28GB bộ nhớ NPU; hai con số lần lượt phản ánh kích thước mô hình và nhu cầu bộ nhớ khi vận hành.
Cùng bảng này nêu tốc độ xử lý 17.2 token/giây và độ trễ đến token đầu tiên 3.13 giây. Môi trường thử nghiệm chưa được công bố chi tiết, nên không thể dùng riêng các số liệu này để so sánh trực tiếp với mô hình hoặc GPU khác.
Unsloth cho biết NPU có thể tiêu thụ ít hơn 2-4 lần năng lượng cho mỗi token tạo ra so với GPU hiện có. Đây là tuyên bố của nhà phát triển và chưa được kiểm chứng bằng benchmark độc lập.
AMD mô tả XDNA là kiến trúc NPU dùng các ô động cơ AI và bộ nhớ trên chip theo mô hình luồng dữ liệu không gian, nhằm giảm truy cập bộ nhớ đệm. NPU được giới thiệu như bộ gia tốc bổ trợ đảm nhiệm suy luận cục bộ, thay vì thay thế GPU, qua đó để CPU và GPU xử lý các tác vụ khác.
Hiệu năng cảm nhận và hiệu quả điện năng thực tế có thể thay đổi theo định dạng mô hình, dung lượng bộ nhớ, độ dài ngữ cảnh và chế độ nguồn. Việc chuyển đổi sang Q4NX và băng thông bộ nhớ của mô hình lớn cũng có thể ảnh hưởng đến điều kiện chạy.
◇ Phạm vi hợp tác và phản ứng trong ngành
Một số người dùng Reddit phản hồi tích cực về hiệu quả điện năng và các thiết bị được hỗ trợ. Ngược lại, cũng có câu hỏi về so sánh tốc độ với GPU tích hợp, hỗ trợ XDNA 1 và khả năng nghẽn băng thông bộ nhớ ở mô hình lớn.
Một số người dùng chia sẻ phép so sánh tốc độ xử lý token giữa NPU và GPU tích hợp trên cùng hệ thống, nhưng chính họ gọi đây là “so sánh rất sơ bộ”. Các số liệu không chính thức này cần được xem tách biệt với chỉ số hiệu năng chính thức.
Thông báo lần này mở rộng hợp tác mà Unsloth công bố vào tháng 7 để hỗ trợ huấn luyện và suy luận mô hình trên GPU AMD Radeon, Instinct và Ryzen. Tại Hàn Quốc, Bộ Khoa học và CNTT-TT cùng AMD đã thảo luận phương án hạ tầng điện toán AI kết nối CPU, GPU với NPU do Hàn Quốc phát triển.
Phoronix cho biết sau khi xác nhận trước với AMD rằng tính năng hoạt động không chỉ trên Windows mà còn trên bản dựng Linux. Phạm vi hỗ trợ chính thức hiện là XDNA 2 trở lên; việc hỗ trợ XDNA 1 và lịch trình chưa được xác nhận.
Comment 0