Apple và Meta hợp tác chạy Muse Spark trên 2–4 máy Mac Studio

Apple và Meta được cho là đã hợp tác để giúp chạy mô hình AI Muse Spark Open trên nhiều máy Mac Studio. Cách thiết lập này cho phép nhà phát triển vận hành mô hình trên thiết bị của mình thay vì dùng đám mây, nhưng chưa có bằng chứng cho thấy con số hiệu năng suy luận phân tán mà Apple công bố trước đây được tái hiện với mô hình này.

CNBC đưa tin ngày 15 (giờ địa phương) rằng hai công ty đã phối hợp để chạy mô hình bằng cách kết nối 2–4 máy Mac Studio. Các ứng dụng được đề cập gồm lập trình, phân tích video và tác vụ của tác nhân AI.

Apple từng công bố tính năng kết nối nhiều máy Mac Studio. Trong thông báo hồi tháng 8, công ty cho biết có thể chia tác vụ suy luận AI giữa nhiều hệ thống bằng Thunderbolt 5 và RDMA. Apple nói hệ thống kết nối bốn máy có thể nhanh hơn tối đa 3 lần so với một máy trong các tác vụ suy luận AI phân tán.

Mức tối đa 3 lần này là thông số Apple đưa ra khi mô tả tính năng phần cứng. Không thể xem đây là kết quả đo hiệu năng khi chạy Muse Spark Open.

Chạy cục bộ là xử lý suy luận mô hình trên phần cứng của người dùng. Apple cung cấp MLX, một khung học máy được tối ưu cho chip của hãng, đồng thời cho biết người dùng có thể chạy mô hình trên máy Mac và phân bổ tác vụ giữa nhiều hệ thống.

Chạy mô hình trên thiết bị của mình có thể giúp giảm lượng dữ liệu gửi lên đám mây và chi phí suy luận lặp lại. Tuy nhiên, thông tin về mức giảm dữ liệu truyền tải hoặc chi phí thực tế trong lần hợp tác này chưa được công bố.

Chi phí triển khai và hiệu năng có thể khác nhau tùy cấu hình thiết bị. Bản tin của CNBC đề cập đến cách thiết lập sử dụng nhiều máy Mac Studio cao cấp, nhưng không đưa ra kết quả thử nghiệm độc lập để so sánh bộ nhớ cần thiết, chi phí thiết bị cụ thể, tốc độ xử lý hay mức tiêu thụ điện.

Cũng cần làm rõ phạm vi của từ “Open” trong tên mô hình. Khi công bố Muse Spark vào tháng 4, Meta cho biết một số đối tác sẽ được dùng thử API ở chế độ riêng tư và hãng hy vọng có thể mã nguồn mở các mô hình trong tương lai. Thông báo đó không xác nhận liệu trọng số của Muse Spark Open được đề cập trong bản tin lần này có được công khai hay không, cũng như thời điểm công khai.

“Open weight” chỉ mô hình có trọng số đã huấn luyện để người dùng tải xuống và chạy trên phần cứng của mình. Việc công khai trọng số và phạm vi cho phép sử dụng thương mại là hai vấn đề riêng biệt; điều kiện cấp phép của mô hình này chưa thể xác định chỉ từ nội dung bản tin.

Chi tiết về điều kiện hỗ trợ và lịch thương mại hóa trong hợp tác kết nối mô hình của Meta với môi trường chạy của Apple chưa được công bố. Phạm vi ứng dụng thực tế của mô hình chỉ có thể được đánh giá sau khi thông tin về trọng số, giấy phép và hiệu năng được công khai.

Ví dụ về mô hình Meta được giới thiệu với các tính năng ghi nhớ và xử lý tác vụ dài đã xuất hiện trong bài viết trước về Muse.