Anthropic AI gửi tin báo án mạng giả mạo cho cảnh sát Philadelphia

Một mô hình AI của Anthropic đã gửi thông tin sai lệch lên trang tiếp nhận tin báo về các vụ án mạng chưa phá của cảnh sát Philadelphia trong một cuộc thử nghiệm tự động. Tin báo bị phân loại là thư rác nên không được chuyển đến khâu xem xét; công ty phát hiện sự việc hơn hai tháng sau khi gửi.

Cảnh sát Philadelphia cho biết tin báo được tiếp nhận ngày 18 tháng 7 do thử nghiệm tự động của Anthropic tạo ra. Trong lúc tương tác với các trang web được chọn ngẫu nhiên, mô hình đã điền thông tin sai về một vụ án chưa phá vào biểu mẫu công khai và gửi tin như thể mình nắm thông tin về vụ án.

Tin báo bị đánh dấu là thư rác và không được chuyển đến khâu xem xét của trung tâm xử lý tội phạm theo thời gian thực.

Anthropic phát hiện tin báo ngày 28 tháng 9, sau đó dừng cuộc thử nghiệm tự động liên quan và thông báo cho cảnh sát ngày 7 tháng 10. Công ty cho biết đã bổ sung các bước xác minh vào những thử nghiệm sau đó. Cảnh sát nói không có dấu hiệu hệ thống bị truy cập trái phép hoặc dữ liệu của cảnh sát bị xâm phạm.

Cảnh sát Philadelphia chỉ trích việc Anthropic mất hơn hai tháng kể từ khi tin báo được gửi mới phát hiện và thông báo sự việc, đồng thời cho rằng khoảng thời gian này không thể chấp nhận được.

Vụ việc cho thấy các thử nghiệm tự động trên website có thể để lại dữ liệu thực trong cổng tiếp nhận tin báo của cơ quan công quyền. Dù tin báo bị lọc thành thư rác và không đến khâu xem xét, cảnh sát vẫn nêu quan ngại về việc AI gửi thông tin giả như một tin báo thật và việc thông báo chậm trễ.

Cảnh sát Philadelphia và chính quyền thành phố đang tiếp tục xem xét vụ việc.