Inferact huy động 150 triệu USD để thương mại hóa vLLM

Inferact, công ty do nhà sáng lập và các maintainer chủ chốt của vLLM thành lập, đã huy động 150 triệu USD trong vòng hạt giống, với mức định giá sau đầu tư 800 triệu USD.

Inferact công bố khoản đầu tư vào ngày 22 tháng 1 năm 2026. Coley cho biết công ty huy động 150 triệu USD, đạt định giá sau đầu tư 800 triệu USD. Andreessen Horowitz và Lightspeed Venture Partners đồng dẫn đầu vòng gọi vốn; Sequoia Capital, Altimeter Capital cùng một số nhà đầu tư khác cũng tham gia.

Inferact cho biết sẽ hỗ trợ dự án vLLM về tài chính và nhân lực phát triển, đồng thời xây dựng một công cụ suy luận thương mại dựa trên dự án này. Công ty cũng dự định cung cấp dịch vụ suy luận được quản lý và bổ sung các tính năng dành cho doanh nghiệp.

vLLM là công cụ suy luận và phục vụ mã nguồn mở, giúp các mô hình ngôn ngữ lớn tạo câu trả lời từ dữ liệu đầu vào và xử lý yêu cầu của người dùng trong các dịch vụ thực tế. Suy luận là quá trình mô hình đã hoàn tất huấn luyện tiếp nhận đầu vào để tạo câu trả lời hoặc kết quả. Khi nhiều yêu cầu được gửi đồng thời, việc sử dụng hiệu quả tài nguyên tính toán và bộ nhớ trở nên quan trọng.

Trong bài viết công bố năm 2023, nhóm phát triển vLLM giới thiệu PagedAttention là công nghệ cốt lõi. Phương pháp này lấy cảm hứng từ cơ chế phân trang bộ nhớ ảo trong hệ điều hành để quản lý bộ nhớ đệm khóa-giá trị mà mô hình sử dụng khi xử lý ngữ cảnh.

Nhóm phát triển cho biết trong một số điều kiện so sánh nhất định khi đó, vLLM sử dụng PagedAttention đạt thông lượng cao gấp tối đa 24 lần so với Transformers của Hugging Face. Đây là kết quả thử nghiệm tại thời điểm đó, không bảo đảm hiệu suất tương tự trên mọi mô hình và phần cứng.

Phần giới thiệu chính thức của Inferact nêu vLLM là dự án theo giấy phép Apache 2.0 và do PyTorch Foundation quản lý. Inferact dự định hỗ trợ dự án đồng thời phát triển sản phẩm thương mại dựa trên nền tảng này, tạo nên mô hình trong đó dự án mã nguồn mở và sản phẩm thương mại của công ty đầu tư được vận hành song song.

Andreessen Horowitz cho biết mục tiêu của khoản đầu tư bao gồm cả hỗ trợ dự án mã nguồn mở lẫn phát triển công cụ suy luận thương mại. Công ty chưa công bố giá sản phẩm cụ thể, mục tiêu doanh thu hay lịch ra mắt dịch vụ.

Cách dịch vụ thương mại của Inferact vận hành song song với dự án mã nguồn mở sẽ được thể hiện qua các sản phẩm và phương thức hoạt động được công bố trong thời gian tới.