API AI của Google xử lý gần 32 tỷ token/phút, tăng hơn 4 lần trong một năm

API mô hình AI của Google xử lý gần 32 tỷ token mỗi phút. Sundar Pichai cho biết thông lượng này tăng 40% so với quý trước và cao hơn 4 lần so với một năm trước.

Trong bản ghi phát biểu tại buổi công bố kết quả kinh doanh quý III ngày 28 (giờ địa phương), Sundar Pichai, CEO của Google và Alphabet(GOOGL), nói: “API mô hình của chúng tôi xử lý gần 32 tỷ token mỗi phút”. Con số này chỉ áp dụng cho API mô hình của Google.

Trong cùng bản ghi, Pichai cho biết thông lượng API tăng 40% so với quý trước và cao hơn 4 lần so với một năm trước. Đây không phải số liệu tổng hợp mức sử dụng của toàn bộ dịch vụ Google, chẳng hạn như công cụ tìm kiếm hay ứng dụng Gemini.

Trong bản ghi công bố kết quả kinh doanh quý II, Google đưa ra mức thông lượng API mô hình khoảng 22 tỷ token mỗi phút. TokenPost từng đưa tin về các chỉ số sử dụng AI của Google được công bố trong kỳ báo cáo trước.

Hai mức được nêu lần lượt là “khoảng 22 tỷ” và “gần 32 tỷ”. Vì Google chưa công bố số liệu chính xác, không nên tự tính lại tỷ lệ tăng từ hai con số làm tròn này; mức tăng 40% so với quý trước do Pichai công bố là căn cứ phù hợp hơn.

Token là đơn vị dữ liệu được mô hình AI sử dụng khi xử lý đầu vào và đầu ra. Tài liệu hướng dẫn API Gemini của Google giải thích rằng một ký tự, một từ hoàn chỉnh hoặc một phần của từ đều có thể được tính là một token.

Token trong ngữ cảnh này khác với tài sản mã hóa hoặc khối lượng giao dịch trên blockchain. Vì vậy, chỉ số thông lượng API không đủ để kết luận nhu cầu trên thị trường tài sản mã hóa đang thay đổi.

Cũng cần phân biệt thông lượng API với số người dùng ứng dụng. TokenPost từng đưa tin ứng dụng Gemini vượt 1 tỷ người dùng hoạt động hàng tháng. Chỉ số người dùng hoạt động hàng tháng phản ánh quy mô người dùng ứng dụng, còn số liệu lần này đo lượng dữ liệu được API mô hình của Google xử lý.

Thông lượng tăng cũng không đồng nghĩa doanh thu API tăng theo cùng tỷ lệ. Phát biểu lần này của Pichai không nêu riêng mức đóng góp của thông lượng API vào doanh thu.

Pichai cho biết Google đang tiếp tục bổ sung năng lực điện toán đám mây để đáp ứng nhu cầu dài hạn. Ông cũng nói nhu cầu của khách hàng đối với các hệ thống TPU vẫn mạnh.