57,4% lưu lượng web là tự động, Cloudflare tính phí crawler AI

Hơn một nửa lưu lượng web hiện đến từ các yêu cầu tự động thay vì con người, làm lung lay mô hình doanh thu internet dựa trên quảng cáo. Cloudflare($NET) cung cấp tính năng ‘Pay Per Crawl’, cho phép chủ website chấp nhận, chặn crawler AI hoặc đặt phí sử dụng nội dung.

Cloudflare Radar ghi nhận trong tháng 6/2026, lưu lượng tự động chiếm 57,4% tổng số yêu cầu HTML trên toàn cầu, trong khi lưu lượng từ con người chiếm 42,6%. Số liệu này dựa trên các yêu cầu quan sát được trong mạng lưới Cloudflare, không phải kết quả khảo sát toàn bộ lưu lượng internet.

Lưu lượng tự động bao gồm crawler của công cụ tìm kiếm, công cụ bảo mật, bot độc hại và tác nhân AI. Vì vậy, việc yêu cầu tự động vượt yêu cầu từ con người không đồng nghĩa lưu lượng AI chiếm 57,4% web.

Báo cáo tháng 6/2026 của Cloudflare cho biết crawler được xác định có mục đích đào tạo AI chiếm 52% số yêu cầu crawler. Tỷ lệ này tăng từ 22% vào mùa xuân năm 2025. Các crawler kết hợp đồng thời thực hiện tìm kiếm, vận hành tác nhân và đào tạo AI chiếm hơn 36% tổng hoạt động crawler.

Matthew Prince (Matthew Prince), đồng sáng lập kiêm CEO Cloudflare, cho biết thời điểm lưu lượng tự động vượt lưu lượng từ con người đến sớm hơn dự kiến. Ông từng dự báo bước ngoặt sẽ xuất hiện vào nửa cuối năm 2027, sau đó điều chỉnh lên nửa đầu năm 2027, nhưng thực tế thời điểm này đã đến vào tháng 5/2026.

Prince nhận định mô hình doanh thu truyền thống của web dựa trên việc công cụ tìm kiếm đưa người dùng đến website để nhà cung cấp nội dung thu doanh thu quảng cáo. Khi dịch vụ AI thu thập nội dung web rồi trực tiếp cung cấp câu trả lời cho người dùng, nội dung vẫn được tiêu thụ nhưng lượng truy cập vào website gốc có thể giảm.

Sau bài viết trước đó về việc tỷ lệ yêu cầu bot trong mạng lưới Cloudflare đạt khoảng 60% vào tháng 5/2026, số liệu lần này mở rộng sang cơ cấu chi tiết của các yêu cầu tự động và cách quản lý crawler AI.

Cloudflare đề xuất phân loại crawler AI thành nhóm được phép truy cập, bị chặn và phải trả phí, thay vì chặn toàn bộ. ‘Pay Per Crawl’ cho phép chủ website đặt giá cho việc crawler AI truy cập nội dung.

Nếu crawler thể hiện ý định thanh toán, nội dung sẽ được cung cấp. Nếu không, hệ thống trả về phản hồi HTTP 402 để thông báo mức giá. Chủ website có thể lựa chọn chặn yêu cầu hoặc yêu cầu thanh toán cho việc sử dụng nội dung.

Tính đến ngày 28/7/2026, ‘Pay Per Crawl’ vẫn đang ở giai đoạn beta kín. Cloudflare cho biết công ty cung cấp bên trung gian thanh toán và hạ tầng kỹ thuật, nhưng chưa công bố quy mô tham gia thực tế, tổng số tiền đã thanh toán hay cách xác định giá cho từng nội dung.

Cloudflare cũng mở rộng miễn phí tính năng phân loại và quản lý crawler dành cho tìm kiếm, tác nhân và đào tạo AI. Tuy nhiên, nếu một crawler phục vụ nhiều mục đích hoặc không thể hiện chính xác mục đích của yêu cầu, chủ website sẽ khó xác định nơi nội dung được sử dụng cuối cùng.

Tranh luận về việc duy trì lượt truy cập từ công cụ tìm kiếm vẫn còn đó. Neil Vogel (Neil Vogel), CEO People Inc., nói: “Nếu muốn duy trì lưu lượng tìm kiếm, không thể chặn crawler đó”.

Nhận định này cho rằng nếu Google sử dụng cùng một crawler cho tìm kiếm và AI, nhà xuất bản sẽ khó chỉ chặn hoạt động thu thập dữ liệu cho AI. Yêu cầu ngăn đào tạo AI và nhu cầu duy trì khả năng xuất hiện trên công cụ tìm kiếm có thể xung đột khi đi qua cùng một đường truy cập.

Cloudflare cũng đang thử nghiệm mô hình ‘Pay Per Use’, trong đó mức trả phí dựa trên mức độ nội dung thực sự được sử dụng thay vì số lần crawler truy cập. Trong ngành, mô hình ‘pay-per-query’ cũng được đề xuất, theo đó nhà xuất bản được trả tiền khi nội dung xuất hiện trong kết quả tìm kiếm.

Các mô hình này nhằm kết nối quyền truy cập nội dung web với cơ chế bồi hoàn bằng công nghệ. Tuy nhiên, cách xác minh mục đích sử dụng thực tế của crawler, chủ thể đánh giá giá trị nội dung và tiêu chí để các công ty AI chi trả vẫn chưa được thống nhất.

Ở giai đoạn hiện tại, chưa thể kết luận tính năng crawler trả phí của Cloudflare sẽ thay thế quảng cáo hoặc mang lại nguồn thu ổn định cho các nhà cung cấp nội dung. Việc thanh toán thực tế và quy mô tham gia mở rộng ra sao trong giai đoạn beta kín sẽ là điểm tiếp theo được theo dõi.