Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

FastFlowLM v1.0.13 chạy 13 mô hình AI trên GPU AMD, nhưng vẫn cần NPU

Cửa sổ chạy mô hình AI cục bộ hiển thị trên màn hình laptop (ảnh minh họa) / TokenPost.ai

FastFlowLM v1.0.13 vừa bổ sung backend 'oga-hipep' cho phép chạy mô hình AI trên GPU của AMD(AMD). Trên Windows, người dùng có thể chạy 13 mô hình bằng GPU, nhưng máy vẫn phải có NPU thì tính năng này mới hoạt động.

Nhóm phát triển FastFlowLM cho biết trong ghi chú phát hành v1.0.13 trên GitHub rằng giờ đây mô hình có thể chạy không chỉ trên NPU mà cả trên GPU AMD. Backend mới dùng ONNX Runtime GenAI và runtime hip-ep của AMD, được đóng gói sẵn trong bản ZIP và MSI chuẩn cho Windows.

Các mô hình GPU có thẻ kết thúc bằng '-oga-hipep'. Người dùng chạy mô hình hoặc mở máy chủ cục bộ bằng lệnh flm run và flm serve. Ở lần chạy flm run hoặc flm serve đầu tiên, khoảng 137MiB runtime hip-ep sẽ được cài vào hồ sơ người dùng.

Danh sách hỗ trợ gồm 13 mô hình, từ gemma3-oga-hipep:4b đến qwen3.8-flash-next-oga-hipep:125b-a6b. Dung lượng tải về chênh lệch lớn, từ 4,4GB đến 124,0GB. Riêng mô hình 125B cần khoảng 78GiB bộ nhớ GPU.

Tính năng này còn nhiều hạn chế. △Chỉ hỗ trợ Windows, chưa có Linux và bản dựng HRX. △Máy bắt buộc có NPU, nên thiết bị chỉ có GPU sẽ không chạy được. △Các mô hình GPU Gemma và GPT-OSS chỉ xử lý văn bản; theo ghi chú phát hành, gửi hình ảnh hoặc âm thanh cho Gemma sẽ nhận lỗi HTTP 400. △Mô hình gemma4-it-oga-hipep:12b có thể thất bại ở bước phản hồi sau khi nhận kết quả thực thi công cụ.

Theo số liệu tự đo trong ghi chú phát hành, trên Ryzen AI MAX+ 395, mô hình qwen3.5-oga-hipep:9b đạt khoảng 36 token/giây khi giải mã và khoảng 1.150 token/giây ở bước prefill. Tốc độ giải mã của qwen3.8-flash-next-oga-hipep:125b-a6b được nêu là khoảng 34,5 token/giây.

Trước đây FastFlowLM chủ yếu chạy mô hình trên NPU AMD Ryzen AI. Nhóm phát triển FastFlowLM đã gia nhập AMD vào ngày 17 tháng 7. Kho mã GitHub nằm ở đường dẫn ROCm/FastFlowLM, nên có vẻ dự án đang được phát triển dưới nhánh AMD ROCm. Trước đó, AMD cũng đã công bố cấu hình chạy mô hình bằng 8 GPU trên một nút duy nhất.

Trang remio.ai nhận định việc AMD tuyển nhóm FastFlowLM chưa chứng minh được dự án nhanh hơn mọi runtime cạnh tranh. Trang này cũng chỉ ra phần lớn số liệu hiệu năng do chính dự án tự đo. Tính năng GPU hiện ở giai đoạn xem trước, và nhóm phát triển lưu ý thẻ mô hình, tùy chọn cũng như cách hoạt động có thể thay đổi ở các phiên bản sau.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1