Lượng token AI agent tăng 14 lần kể từ tháng 2

Lượng token mà các AI agent sử dụng đã tăng 14 lần kể từ tháng 2, đạt mức gấp khoảng 5 lần so với người dùng cá nhân. Xu hướng sử dụng AI tạo sinh đang dịch chuyển từ hội thoại đơn thuần sang các agent thực thi tác vụ, khiến lượng token tiêu thụ trở thành chỉ số then chốt quyết định chi phí hạ tầng AI.

Andreessen Horowitz (a16z) công bố thông tin này trong mục "Charts of the Week" ngày 21, dựa trên dữ liệu của OpenRouter. Token là đơn vị văn bản mà mô hình AI đọc và tạo ra, đồng thời là đơn vị cơ bản để tính phí API mô hình và mức sử dụng hạ tầng suy luận (inference).

Người dùng cá nhân thường sử dụng mô hình theo kiểu hỏi - đáp qua lại. Trong khi đó, AI agent liên tục đọc, ghi và thực thi cho đến khi đạt được mục tiêu đề ra. Trong quá trình này, agent phải gọi lại cùng một ngữ cảnh, nối tiếp trạng thái tác vụ và khởi tạo thêm các tác vụ con, khiến lượng token tiêu thụ tăng vọt.

Số liệu này phản ánh xu hướng quan sát được trên nền tảng OpenRouter, chứ không đại diện cho quy mô tuyệt đối của toàn thị trường AI. Tuy nhiên, khi việc sử dụng theo hình thức agent gia tăng, quản lý chi phí cũng trở thành bài toán lớn đối với các nền tảng. TokenPost trước đó đưa tin OpenRouter đã ra mắt tính năng tự động phân loại yêu cầu theo bộ phận, loại tác vụ, mức độ phức tạp của agent và trung tâm chi phí.

Tại Hàn Quốc, sự lan rộng của AI agent cũng gắn liền với các vấn đề về chi phí hạ tầng, bảo mật và kiểm soát dữ liệu. TokenPost trước đó đưa tin Liner và Rebellions đang xúc tiến mảng kinh doanh giải pháp AI full-stack dựa trên chip NPU nội địa Hàn Quốc. Hai công ty cho biết đang tìm cách kết hợp công nghệ AI agent với hạ tầng bán dẫn dùng cho suy luận nhằm giảm chi phí vận hành.