7,3 nghìn tỷ token AI dạng agent, tăng 14 lần trong 6 tháng

Lượng token AI dạng agent (agentic AI) được xử lý qua OpenRouter đã tăng lên mức trung bình động 7 ngày đạt 7,3 nghìn tỷ token, tính đến ngày 10 tháng 8. So với khoảng 500 tỷ token ghi nhận ngày 6 tháng 2, con số này đã tăng gấp 14 lần chỉ sau 6 tháng.

CryptoBriefing đưa tin cùng giai đoạn, lượng token của người dùng thông thường tăng lên 1,4 nghìn tỷ token, gấp 2,8 lần. Con số 7,3 nghìn tỷ token nói trên do CryptoBriefing công bố; blog và trang dữ liệu chính thức của OpenRouter không đưa ra giá trị tuyệt đối tương ứng tại cùng thời điểm.

Tác vụ dạng agent không chỉ dừng ở một lần AI trả lời, mà thực hiện nhiều bước như tìm kiếm, viết code, gỡ lỗi và gọi các công cụ bên ngoài để đạt được mục tiêu đề ra. Vì quy trình kéo dài và mô hình phải được gọi lặp đi lặp lại, lượng token tiêu thụ có thể tăng nhanh hơn nhiều so với cách sử dụng hội thoại thông thường.

Trong bài đăng trên blog ngày 30 tháng 6, OpenRouter cho biết tác vụ dạng agent bắt đầu tăng tốc từ đầu năm 2026 và đã vượt qua lượng token của người dùng thông thường vào khoảng ngày 1 tháng 2. Theo phân tích của nền tảng này, mỗi yêu cầu dạng agent tiêu tốn lượng token nhiều hơn khoảng 15 lần so với yêu cầu thông thường.

OpenRouter phân biệt lưu lượng dạng agent và lưu lượng người dùng thông thường bằng hệ thống phân loại nội bộ, kết hợp có trọng số từ 7 tín hiệu theo từng khóa API (API key). Vì tiêu chí phân loại có thể thay đổi, các con số nói trên cần được hiểu trong khuôn khổ hệ thống phân loại riêng của OpenRouter.

OpenRouter là nền tảng suy luận (inference) kết nối nhiều mô hình AI khác nhau trong cùng một giao diện lập trình ứng dụng (API) và định tuyến yêu cầu đến mô hình phù hợp. Nền tảng này tổng hợp dữ liệu sử dụng và chi phí phát sinh trong quá trình các mô hình AI đã huấn luyện xử lý yêu cầu và tạo câu trả lời cho người dùng.

Quy mô toàn nền tảng cũng tăng nhanh. Ngày 1 tháng 6, OpenRouter công bố đang định tuyến 100 nghìn tỷ token mỗi tháng. Vì người dùng có thể gọi nhiều mô hình khác nhau chỉ từ một nơi, dữ liệu tổng hợp của OpenRouter thường được xem là thước đo phản ánh xu hướng sử dụng AI thực tế và lựa chọn mô hình trên thị trường.

TokenPost từng đưa tin về một nghiên cứu sử dụng dữ liệu sử dụng thực tế của OpenRouter để phân tích chênh lệch tỷ suất sinh lời cổ phiếu giữa các nhóm doanh nghiệp Mỹ. Tuy nhiên, lượng token sử dụng chỉ là chỉ số cho thấy mức độ ứng dụng AI, không phản ánh trực tiếp doanh thu hay biến động giá cổ phiếu của doanh nghiệp.

Sự mở rộng nhu cầu dạng agent được cho là chịu ảnh hưởng từ sự phổ biến của các mô hình trọng số mở (open-weight) có chi phí thấp. Theo phân tích sử dụng năm 2025 của OpenRouter, các mô hình trọng số mở chiếm khoảng 1/3 tổng lượng token.

Mô hình trọng số mở là loại mô hình công khai các tham số đã huấn luyện, cho phép người dùng tự triển khai hoặc tinh chỉnh theo mục đích riêng. Loại mô hình này thường có chi phí gọi hàng loạt thấp hơn so với các mô hình cao cấp dạng đóng, nên có nhiều dư địa được ứng dụng trong các dịch vụ dạng agent vốn cần lặp lại tác vụ nhiều lần.

Dữ liệu của OpenRouter cho thấy tỷ trọng theo tuần của các mô hình mã nguồn mở có nguồn gốc Trung Quốc đã tăng từ 1,2% vào cuối năm 2024 lên gần 30% trong một số tuần của năm 2025. TokenPost từng đưa tin về xu hướng các mô hình trọng số mở chiếm khoảng 1/3 tổng lượng token sử dụng.

Bình luận: cần phân biệt tỷ trọng token với tỷ trọng chi tiêu thực tế. Mô hình giá rẻ dù xử lý nhiều token nhưng đơn giá thấp, nên tỷ trọng trong chi tiêu có thể nhỏ hơn tương ứng. Đây cũng là lý do khó có thể xem lượng token tăng lên đồng nghĩa với doanh thu hay sức chi phối thị trường được mở rộng.

Khi lượng sử dụng dạng agent tăng lên, việc quản lý chi phí cũng trở thành bài toán lớn đối với nền tảng. Ngày 24 tháng 7, OpenRouter ra mắt tính năng Classifiers, tự động phân loại yêu cầu theo bộ phận, loại tác vụ, mức độ phức tạp của agent và trung tâm chi phí (cost center).

OpenRouter cho biết tính năng này giúp theo dõi nội dung tác vụ, lựa chọn mô hình và dòng chi phí của từng agent. Đây là cách nền tảng xác định chi phí phát sinh ở bước nào, khi một agent gọi liên tiếp nhiều mô hình và công cụ khác nhau.

Trong cộng đồng lập trình viên, vấn đề chi phí và bộ nhớ đệm (caching) cũng được nêu ra. Trên mục GitHub Issues của Visual Studio Code (VS Code) thuộc Microsoft($MSFT), có ý kiến phản ánh rằng khi sử dụng mô hình Claude thông qua kết nối bằng khóa API riêng trên OpenRouter, tính năng prompt caching không hoạt động, khiến chi phí ở chế độ agent tăng cao. Sự mở rộng của AI dạng agent, vì vậy, không chỉ dừng ở việc token sử dụng tăng lên, mà còn kéo theo yêu cầu cải thiện cơ chế định tuyến, caching và tính phí.