AMD công bố cấu hình 8 GPU chạy mô hình Muse Spark Open của Meta từ ngày ra mắt

AMD($AMD) công bố cấu hình chạy Muse Spark Open của Meta($META) vào ngày 15 tháng 10, ngày mô hình được phát hành. Cấu hình kết hợp 8 GPU trong một nút máy chủ, vận hành bằng ROCm 7.2 và vLLM.

Tài liệu kỹ thuật của AMD nêu các checkpoint BF16 gốc và checkpoint MXFP4, FP8 được chuyển đổi bằng AMD Quark là những cấu hình được hỗ trợ. Cấu hình dùng 8 GPU cho xử lý song song tensor và bao gồm thư viện kernel AMD AITER.

Tài liệu phần cứng của Meta cũng liệt kê tổ hợp 8 GPU MI350X hoặc MI355X với vLLM trong mục nền tảng AMD. Tài liệu hướng dẫn dùng TP8 với BF16 và TP8+EP8 với MXFP4, FP8. Tài liệu cũng trình bày riêng các cấu hình phần cứng của Nvidia($NVDA), Intel và Apple.

Tuy nhiên, tài liệu AMD liệt kê checkpoint FP8 nhưng phần giải thích lại cho biết trọng số chuyên gia được định tuyến sẽ được lượng tử hóa thành OCP MXFP4. Tên checkpoint và nội dung mô tả không khớp nhau, vì vậy chưa thể kết luận chi tiết về cấu hình FP8.

Muse Spark Open do Meta công bố có tổng cộng 816 tỷ tham số, trong đó kích hoạt 42 tỷ tham số cho mỗi token, đồng thời hỗ trợ cửa sổ ngữ cảnh tối đa 1 triệu token. Đây là các thông số do từng công ty công bố về mô hình và cấu hình chạy của AMD.

AMD viết trong tài liệu kỹ thuật rằng cấu hình BF16 có thể xử lý đồng thời 32 yêu cầu, mỗi yêu cầu 32.000 token, trên mỗi nút máy chủ. Đây là con số AMD đưa ra theo điều kiện chạy của hãng, không phải kết quả so sánh với GPU của bên khác trong cùng điều kiện hay kết quả kiểm chứng độc lập.

Cấu hình này yêu cầu 8 GPU. Vì vậy, việc mô hình có trọng số công khai không đồng nghĩa với khả năng chạy trên PC thông thường hoặc một GPU đơn lẻ.

Tương tự trường hợp AMD trước đó hỗ trợ chạy Qwen 27B tại máy tính cá nhân ngay từ ngày ra mắt, thông báo lần này cũng đưa ra cách chạy phù hợp với thời điểm mô hình được phát hành. Với mô hình của Meta, AMD hướng dẫn kết hợp GPU Instinct, ROCm và vLLM.