AMD hỗ trợ chạy cục bộ mô hình Qwen 27B ngay từ ngày ra mắt

AMD(AMD) đã hỗ trợ chạy cục bộ mô hình Qwen(Qwen) 27B của Alibaba(BABA) trên các dòng AI PC và workstation của hãng ngay từ ngày mô hình này ra mắt, không cần kết nối cloud. Đây là bước đi bám sát xu hướng chạy các mô hình AI mã nguồn mở quy mô lớn trực tiếp trên PC và workstation thay vì phụ thuộc vào máy chủ đám mây.

Odaily đưa tin AMD cung cấp hỗ trợ “Day 0” cho mô hình Qwen3.8 27B, nghĩa là nhà phát triển có thể chạy mô hình này cục bộ trên phần cứng AMD ngay từ ngày mô hình được công bố.

Theo mô tả, đây là mô hình dense với 27 tỷ tham số. AMD cho biết hãng tiếp tục tối ưu hóa dòng Qwen cho các tác vụ như viết code, công việc thực tế, nghiên cứu và các ứng dụng AI xử lý ngữ cảnh dài.

Môi trường vận hành dựa trên framework suy luận mã nguồn mở llama.cpp. Đối tượng hỗ trợ gồm AI PC và workstation dùng bộ vi xử lý AMD, card đồ họa AMD 32GB đơn lẻ, cũng như các nền tảng phần cứng AMD có bộ nhớ đồ họa linh hoạt vượt 24GB.

Trong thử nghiệm ban đầu của AMD, bộ vi xử lý Ryzen AI Max+ 395 đạt tốc độ suy luận cục bộ tối đa 24,5 token/giây, trong khi card đồ họa Radeon AI Pro R9700 (GPU) đơn lẻ đạt tối đa 51,8 token/giây. Thử nghiệm được thực hiện trên môi trường Windows, dùng backend Vulkan của llama.cpp cùng tối ưu hóa dự đoán đa token.

Hỗ trợ “Day 0” là cơ chế cho phép chạy mô hình ngay trên phần cứng và phần mềm cụ thể tại thời điểm mô hình được công bố. Trong bối cảnh việc sử dụng các mô hình AI lớn chủ yếu dựa vào cloud, chạy cục bộ giúp giảm việc truyền dữ liệu và cho phép người dùng tự kiểm soát môi trường phát triển.

Alibaba cho biết dòng mô hình Qwen được công bố dưới dạng mã nguồn mở để nhà phát triển, viện nghiên cứu và doanh nghiệp có thể tải về, triển khai và sử dụng. Odaily đưa tin mô hình Qwen3.8-27B mới công bố là mô hình dense đa phương thức gốc, với quy mô 27 tỷ tham số vượt trội hơn Qwen3.7-Plus.

Tuy nhiên, cách ghi tên mô hình vẫn cần được xác nhận thêm. TokenPost trước đó đưa tin mô hình trọng số mở 27B của Alibaba được xác nhận là Qwen3.6-27B theo tài liệu công bố chính thức và danh sách mô hình trên Hugging Face. Cách ghi Qwen3.8-27B từ PANews khi đó khác với cách ghi Qwen3.6-27B trong tài liệu chính thức, và trọng tâm của vấn đề được xác định là việc Alibaba mở rộng dòng mô hình trọng số mở đa phương thức quy mô 27B.

Động thái hỗ trợ lần này nằm ở điểm giao giữa cuộc cạnh tranh chip AI và hạ tầng AI cục bộ. AMD đang đẩy mạnh đồng thời CPU, GPU và bộ vi xử lý cho AI PC, mở rộng hệ sinh thái để nhà phát triển có thể linh hoạt sử dụng cả môi trường cloud lẫn cục bộ.

Mối liên hệ trực tiếp với thị trường tài sản số vẫn còn hạn chế. TokenPost trước đó đưa tin cuộc cạnh tranh mô hình AI cục bộ và trọng số mở có thể tác động đến các lĩnh vực điện toán phi tập trung, kiểm chứng AI và công cụ cho nhà phát triển. Bài viết không đề cập tác động trực tiếp của việc AMD hỗ trợ lần này đến giá hay khối lượng giao dịch của các token liên quan.

AMD cho biết hiệu năng thực tế có thể được cải thiện thêm khi phần mềm và việc tối ưu hóa mô hình được tiếp tục triển khai. Đến nay, những gì được xác nhận là việc hỗ trợ chạy cục bộ mô hình Qwen 27B, các số liệu thử nghiệm ban đầu, và phạm vi phân phối mã nguồn mở.

Nguồn tham khảo: bài gốc trên Odaily, tài liệu kỹ thuật AMD về hỗ trợ Day 0 cho Qwen 3.5, tài liệu mô hình QwenCloud