Giá token giảm một nửa khi OpenRouter ra mắt Batch API

OpenRouter đã ra mắt Batch API để xử lý theo lô các tác vụ trí tuệ nhân tạo không cần phản hồi theo thời gian thực. Giá token đầu vào và đầu ra của phần lớn mô hình được giảm xuống còn khoảng một nửa, trong khi kết quả được trả về trong tối đa 24 giờ.

OpenRouter cho biết trên blog chính thức ngày 22 rằng họ đã công bố Batch API. Dịch vụ hiện hỗ trợ hơn 70 mô hình, cho phép người dùng gửi nhiều yêu cầu cùng lúc và nhận kết quả sau khi quá trình xử lý hoàn tất.

Mức giảm giá áp dụng cho token đầu vào và đầu ra của từng mô hình. Một số mô hình có thể được áp dụng mức giá thấp hơn một nửa, vì vậy chi phí cuối cùng sẽ tùy thuộc vào mô hình và loại yêu cầu.

Batch API được thiết kế cho các tác vụ xử lý số lượng lớn, thay vì những yêu cầu tương tác cần kết quả ngay lập tức. Các trường hợp sử dụng gồm phân loại tài liệu, tạo embedding, chấm điểm bộ dữ liệu đánh giá và tóm tắt câu hỏi của khách hàng.

Các loại yêu cầu được hỗ trợ gồm chat completion, Responses API, Messages và yêu cầu embedding dựa trên API. Người dùng có thể gửi nhiều tác vụ trong một batch thay vì gọi riêng lẻ nhiều lần.

Thời hạn xử lý tối đa là 24 giờ, nhưng OpenRouter cho biết thời gian hoàn tất thực tế thường ngắn hơn. Trong giai đoạn beta kéo dài 2 tuần, hơn 230.000 batch đã được hoàn tất, với thời gian hoàn thành trung vị là 7 phút.

90% tổng số tác vụ hoàn tất trong vòng 1 giờ. Tuy nhiên, tốc độ xử lý không giống nhau đối với mọi tác vụ và có thể thay đổi tùy thời điểm gửi cũng như quy mô công việc.

Phân tích do OpenRouter công bố cho thấy các batch chỉ gồm 1 yêu cầu thường hoàn tất trong 5-11 phút. Batch có từ 1.000 yêu cầu trở lên mất 12-21 phút, trong khi một số tác vụ chậm có thể cần vài giờ để hoàn tất tùy thời điểm gửi.

Hiệu quả tiết kiệm chi phí lớn nhất nằm ở những tác vụ có thể chờ kết quả. Các dịch vụ cần phản hồi theo thời gian thực hoặc chức năng tương tác tức thì vẫn cần phương thức xử lý hiện tại.

Các lệnh gọi tìm kiếm trên web không thuộc diện được giảm giá theo batch. OpenRouter cũng hướng dẫn người dùng phải sử dụng URL công khai khi nhập hình ảnh và tệp.

OpenRouter vận hành theo cách để một nhà cung cấp duy nhất xử lý từng batch. Người dùng có thể định tuyến yêu cầu dựa trên cài đặt mô hình, nhà cung cấp và chính sách dữ liệu.

Thông tin về mô hình, nhà cung cấp, trạng thái và chi phí của từng batch có thể được kiểm tra trong nhật ký. Nhờ đó, người dùng có thể theo dõi riêng tiến độ xử lý và chi phí của từng tác vụ.

Kết quả xử lý và dữ liệu đầu vào mặc định được lưu trữ trong 30 ngày. Vì vậy, người dùng gửi tác vụ số lượng lớn cần kiểm tra cả chi phí lẫn chính sách lưu trữ dữ liệu.

Batch API cho phép sử dụng nhiều mô hình trí tuệ nhân tạo thông qua một giao diện duy nhất, đồng thời điều chỉnh chi phí và thời gian xử lý các tác vụ số lượng lớn. Trong bối cảnh những thay đổi về lượng token sử dụng và giá trung bình của OpenRouter từng được chú ý, tính năng mới tập trung giảm đơn giá cho các tác vụ bất đồng bộ có mức sử dụng cao.

Tuy nhiên, tỷ lệ giảm giá áp dụng cho 'phần lớn mô hình' và số tiền thanh toán thực tế sẽ thay đổi theo đơn giá từng mô hình và loại yêu cầu. Người dùng cần kiểm tra giá của từng mô hình và điều kiện xử lý dữ liệu trước khi gửi batch.