Một nền tảng vận hành AI agent cho phép theo dõi chi phí mô hình theo nhóm và agent, đồng thời chặn lượt gọi mô hình tiếp theo khi ngân sách chạm giới hạn, đã được giới thiệu.
Nasiko giới thiệu OpenRuntime trên blog chính thức ngày 16 và giải thích cách hoạt động của TokenOps, tính năng quản lý chi phí. Khi mức sử dụng đạt 80% ngân sách đã đặt cho nhóm hoặc agent riêng lẻ, hệ thống sẽ gửi cảnh báo. Nasiko cho biết Agent Gateway từ chối lượt gọi mô hình tiếp theo khi chạm giới hạn.
Thông tin công bố xác nhận việc chặn lượt gọi mô hình tiếp theo, nhưng chưa đủ cơ sở để kết luận mọi hoạt động của agent đều tự động dừng.
TokenOps phân tách chi phí theo nhóm, mô hình, agent và harness. Harness là môi trường chạy agent và kết nối agent với công cụ, mô hình.
Người dùng có thể xem lịch sử từng lần chạy để kiểm tra các lượt gọi mô hình và cách sử dụng công cụ. Với các tổ chức dùng nhiều nhà cung cấp mô hình, tính năng này có thể giúp xác định nhóm hoặc tác vụ nào phát sinh chi phí.
Việc ghi nhận chi phí và thực thi giới hạn trong lúc chạy có điều kiện hoạt động khác nhau. Kho mã nguồn công khai của Nasiko hướng dẫn rằng báo cáo mức sử dụng phiên và định tuyến mô hình có thể được bật riêng.
Giới hạn ngân sách áp dụng khi lượt gọi mô hình đi qua gateway của Nasiko. Nasiko không cho biết các lượt gọi bên ngoài gateway cũng chịu cùng giới hạn.
Nasiko cho biết có thể kết nối nền tảng mà không cần thay đổi mã agent hoặc SDK hiện có. Tuy nhiên, phạm vi thực thi ngân sách phụ thuộc vào việc cấu hình để yêu cầu mô hình đi qua gateway.
Ngoài quản lý chi phí, OpenRuntime còn xử lý quyền sử dụng công cụ. Nasiko cho biết người dùng có thể cho phép hoặc chặn từng công cụ, hoặc yêu cầu con người phê duyệt trước khi sử dụng.
Tháng 5, Nasiko giới thiệu một lớp điều khiển gồm các chức năng đăng ký agent, định tuyến, bảo mật, triển khai và quan sát. Thông báo khi đó mô tả một số tính năng vận hành của OpenRuntime.
Tháng 9, Nasiko thông báo cung cấp runtime được quản lý trên marketplace của DigitalOcean, đồng thời giới thiệu TokenOps là tính năng theo dõi và kiểm soát chi tiêu. Vì vậy, thông báo ngày 16 đề cập đến OpenRuntime nói chung, bao gồm cả TokenOps, chứ không phải lần đầu công bố tính năng này.
Kho mã nguồn công khai cũng có các báo cáo của người dùng về việc đo lường chi phí. Một người đóng góp cho rằng token đầu vào được lưu trong bộ nhớ đệm của Codex bị tính trùng, khiến chi phí trong trường hợp của họ được ghi nhận cao gấp khoảng 6,9 lần. Một người dùng khác cho biết mức sử dụng đầu tiên của phiên Codex mới được ghi là 0.
Trong một issue riêng, người dùng báo rằng khi lệnh gọi công cụ của Claude Code bị gián đoạn, mức sử dụng đã tính phí có thể không được ghi nhận đầy đủ. Người đăng cho biết đã tổng hợp các trường hợp từ 15 bản ghi phiên mà họ kiểm tra. Đây là báo cáo cá nhân, không phản ánh tỷ lệ lỗi của toàn bộ sản phẩm.
Nasiko cho biết ngày 16 kho mã nguồn công khai có 11.900 lượt sao. Đây là số liệu tích lũy của toàn dự án, không thể hiện phản ứng riêng đối với thông báo lần này.
Comment 0