Cloudflare: 155 phản hồi AI chứa nội dung yêu cầu của khách hàng khác

Dịch vụ suy luận AI của Cloudflare đã tạo ra 155 phản hồi có lẫn nội dung yêu cầu của khách hàng khác. Sự cố xảy ra khi bộ nhớ xử lý đầu vào dài không đủ dung lượng, nhưng công cụ suy luận vẫn tiếp tục xử lý thay vì dừng yêu cầu.

Trong báo cáo sự cố công bố ngày 26, Cloudflare cho biết lỗi ảnh hưởng đến mô hình GLM-5.3 trên Workers AI từ ngày 27/8 đến ngày 9/9. Tất cả phản hồi bị ảnh hưởng đều xuất phát từ các yêu cầu có đầu vào dài hơn 681.280 token. Con số 155 là số phản hồi, không phải số khách hàng hay nạn nhân.

GLM-5.3 là mô hình mà nhà phát triển có thể gọi thông qua Workers AI. Cloudflare cho biết các mô hình khác trên Workers AI không gặp vấn đề tương tự.

Sự cố bắt nguồn từ lỗi cấu hình kết hợp với lỗi xử lý trong SGLang, một công cụ suy luận mã nguồn mở. Cloudflare đã cấu hình mô hình nhận tối đa 1.048.576 token, trong khi bộ nhớ đệm KV trên GPU xử lý đầu vào chỉ đủ chỗ cho 681.280 token. Bộ nhớ đệm KV tạm lưu kết quả tính toán khi AI đọc đầu vào.

Khi đầu vào vượt dung lượng bộ nhớ đệm, SGLang từ chối yêu cầu ở bên trong hệ thống và thay bằng một đầu vào dự phòng dài một token. Tuy nhiên, tác vụ vẫn được chuyển đến GPU tạo phản hồi. Trong quá trình này, GPU đọc cả những vùng bộ nhớ chưa bị yêu cầu mới ghi đè, khiến nội dung đầu vào hoặc nội dung được tạo từ yêu cầu trước của khách hàng khác lọt vào câu trả lời.

Khách hàng nhận được phản hồi HTTP 200, trạng thái thường cho biết yêu cầu đã được xử lý thành công, thay vì thông báo lỗi. Để cải thiện hiệu năng, vùng bộ nhớ không được xóa giữa các yêu cầu mà được ghi đè khi xử lý yêu cầu tiếp theo, khiến vấn đề khó bị phát hiện từ bên ngoài.

Cloudflare thừa nhận trước khi ra mắt, công ty đã kiểm tra trạng thái phản hồi và hiệu năng với đầu vào dài nhưng không xác minh nội dung câu trả lời được tạo ra có chính xác hay không. Công ty cho biết đã biết cấu hình độ dài đầu vào khác với dung lượng bộ nhớ đệm thực tế, nhưng cho rằng công cụ suy luận sẽ trả lỗi khi không thể xử lý đầu vào.

Ngày 8/9, nhà nghiên cứu bảo mật Gadi Evron báo cáo vấn đề qua nền tảng tiếp nhận thông tin lỗ hổng HackerOne. Cloudflare tuyên bố xảy ra sự cố vào ngày hôm sau, ngừng cho phép công chúng truy cập mô hình khoảng 40 phút sau đó, rồi sửa cấu hình và công cụ suy luận để khôi phục dịch vụ trong cùng ngày.

Cloudflare cho biết ngoài các thử nghiệm nội bộ và yêu cầu của người báo cáo, công ty không tìm thấy bằng chứng cho thấy có người cố ý khai thác lỗ hổng nhiều lần trong nhật ký sử dụng. Nhóm phát triển SGLang cũng sửa cách xử lý để yêu cầu dài bị từ chối không được chuyển sang giai đoạn tạo phản hồi.

Cloudflare đã áp dụng bản sửa lỗi và quy trình kiểm tra bổ sung cho các mô hình khác vận hành bằng SGLang. Trước khi triển khai mô hình, công ty sẽ đối chiếu trực tiếp dung lượng bộ nhớ đệm KV với thiết lập độ dài đầu vào trên công cụ đang chạy.

Trước đó, Cloudflare từng thử nghiệm tính năng tính phí theo từng yêu cầu của tác nhân AI. Sự cố lần này xảy ra trong quá trình xử lý yêu cầu của mô hình AI, không liên quan đến tính năng thanh toán.