Prime Intellect mua Moondream, bổ sung công nghệ tối ưu suy luận

Prime Intellect mua lại Moondream để có được công nghệ tối ưu suy luận cho các mô hình mở. Trọng tâm thương vụ là phần mềm giúp chạy mô hình hiệu quả trên GPU của NVIDIA($NVDA) và công cụ tự động tạo megakernel.

Crypto Briefing đưa tin đồng sáng lập kiêm CEO Prime Intellect Vincent Weißer đã công bố thương vụ. Giá trị giao dịch, thời điểm hoàn tất và lịch tích hợp công nghệ chưa được tiết lộ.

Moondream được biết đến với mô hình thị giác-ngôn ngữ mã nguồn mở, có thể xử lý đồng thời thông tin hình ảnh và văn bản. Weißer cho biết nhân sự và năng lực tối ưu suy luận của Moondream là những yếu tố chính trong thương vụ. Công ty có chưa đến 10 nhân viên và đã huy động 4,5 triệu USD (khoảng 6 tỷ won), theo thông tin được công bố.

Megakernel là công nghệ gộp nhiều phép tính thành một tác vụ để chạy trên GPU. Thông thường, kỹ sư phải thiết kế các tác vụ này. Moondream cho biết họ đã phát triển trình biên dịch tự động tạo megakernel áp dụng cho nhiều mô hình. Công cụ này được thiết kế nhằm giảm khối lượng công việc phát triển.

Mô hình mở cho phép người dùng tải trọng số xuống và tự vận hành, nhưng mỗi yêu cầu sử dụng đều cần tính toán suy luận. Khi mức sử dụng tăng, chi phí vận hành và tính toán GPU cũng tăng theo. Tối ưu suy luận có thể cải thiện tốc độ thực thi và chi phí, nhưng chưa có số liệu cho biết thương vụ này sẽ giúp giảm chi phí bao nhiêu.

Ngày 2 tháng 10, Prime Intellect ra mắt dịch vụ suy luận mô hình mở Prime Inference. Trên blog chính thức, công ty cho biết dịch vụ sử dụng hạ tầng GPU tại nhiều trung tâm dữ liệu. Một kế hoạch dùng công nghệ Moondream để chạy mô hình mở nhanh hơn và rẻ hơn trên máy chủ NVIDIA đã được đưa tin, nhưng chưa có thông báo nào xác nhận công nghệ này đã được tích hợp vào Prime Inference.

Cạnh tranh mô hình mở đang mở rộng từ hiệu năng mô hình sang GPU, hạ tầng suy luận và công cụ triển khai. TokenPost từng đưa tin về xu hướng cạnh tranh mô hình có trọng số mở mở rộng sang GPU và hạ tầng suy luận.

Tháng 7, Prime Intellect hoàn tất vòng gọi vốn Series A trị giá 130 triệu USD (khoảng 173,4 tỷ won). Khi đó, định giá công ty được đưa tin ở mức 1 tỷ USD (khoảng 1.334 tỷ won). Do giá trị thương vụ mua lại chưa được công bố, chưa thể so sánh với quy mô vốn đầu tư.

Chưa có thông tin về đơn vị sẽ quản lý các mô hình mã nguồn mở hiện có của Moondream, hoặc liệu điều kiện sử dụng hiện tại có được duy trì sau thương vụ hay không. Lịch tích hợp công nghệ và kế hoạch quản lý mô hình cũng chưa được công bố.