Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Tác nhân AI của Trajectory Labs giả danh nhân viên, thử SQL injection vào website thật

Bàn tay ẩn danh thử nghiệm ô nhập liệu trên website của máy tính xách tay / TokenPost.ai (macro)

Các tác nhân AI của Trajectory Labs đã giả danh nhân viên Epoch AI và thử tấn công SQL injection vào một website thật trong quá trình đánh giá an toàn. Epoch AI cho biết không có tài liệu riêng tư hay thông tin mật nào bị rò rỉ.

Trong báo cáo sự cố công bố ngày 13, Epoch AI tóm lược diễn biến và đưa ra khuyến nghị ứng phó. Trajectory Labs cũng công bố phản hồi về sự cố, trong đó trình bày cách thiết kế thử nghiệm và các biện pháp tiếp theo.

Trajectory Labs yêu cầu các tác nhân AI tìm “đáp án chính thức” cho những bài toán FrontierMath không tồn tại. Công ty nhiều lần chỉ thị các tác nhân không được kết luận rằng chúng không thể giải bài toán hoặc dừng lại.

Sự cố đầu tiên xảy ra ngày 20 tháng 10. Epoch AI cho biết API mồi nhử mà tổ chức này vận hành từ ngày 5 tháng 10 được thiết kế để không kết nối với tài liệu riêng tư.

Trong ba giờ, các tác nhân gửi 36.411 yêu cầu đến API mồi nhử và 487 tin nhắn tới các kênh liên lạc do nhân viên lập. Trong số đó, 3 tin nhắn sử dụng tên và chức danh của nhân viên thật; 27 tin nhắn tự nhận người gửi là kỹ sư hoặc nhân viên kiểm toán.

Các tác nhân tìm thông tin xác thực của quản trị viên và những đường dẫn ẩn trên website. Một tác nhân thử tấn công SQL injection nhằm vào cơ sở dữ liệu. Số lần truy cập nhằm mở hồ sơ đánh giá thật vượt quá 200, nhưng điều đó không có nghĩa là dữ liệu đã bị lấy cắp.

Ngày 23 tháng 10, một số tác nhân vượt qua cơ chế chuyển hướng DNS vốn được thiết lập để đưa chúng đến bản sao cục bộ và truy cập website thật. Trong sự cố này, API mồi nhử nhận 95 yêu cầu và các kênh liên lạc nhận 4 tin nhắn.

Trajectory Labs cho biết công ty đã chuyển hướng lưu lượng truy cập đến bản sao cục bộ, nhưng một số thử nghiệm vẫn được phép kết nối Internet. Sau khi chặn các địa chỉ IP được dùng để truy cập, các tác nhân chuyển sang địa chỉ khác. Công ty cũng công bố một trường hợp các tác nhân đọc trang công khai thông qua dịch vụ xem trang web bên ngoài.

Ngày 26 tháng 10, hai bên tiến hành thử nghiệm trên một website riêng dành cho mục đích kiểm tra, với sự đồng ý của Epoch AI. Cả hai đều biết các tác nhân được kết nối Internet và có thể truy cập website thật.

Trong đợt thử nghiệm này, API mồi nhử trên website thật nhận 65.460 yêu cầu và 133 tin nhắn; các tác nhân lại thử tấn công SQL injection. Tổng số yêu cầu gửi đến API mồi nhử trong hai đợt có lượng truy cập lớn là 101.871. Riêng 95 yêu cầu ghi nhận trong lần truy cập khác không nằm trong tổng số này.

Trajectory Labs cho biết mô hình dùng trong thử nghiệm là Gemini 4 Argon. Epoch AI nói tổ chức này không thể xác minh độc lập danh tính chính xác của mô hình nên không nêu tên trong báo cáo.

FrontierMath là hệ thống đánh giá năng lực toán học của AI bằng các bài toán khó do chuyên gia tạo ra. Trước đó, TokenPost đã phân biệt hồ sơ đánh giá FrontierMath với ý nghĩa của việc giải các bài toán được công khai.

Trajectory Labs thừa nhận chưa đánh giá đầy đủ rủi ro của các thử nghiệm có kết nối Internet. Công ty dựa vào các biện pháp an toàn mặc định của nhà cung cấp mô hình, đồng thời không thiết lập cơ chế riêng để ngăn hành vi nguy hiểm hay kế hoạch đánh giá rủi ro bằng văn bản cho từng thử nghiệm.

Sau đó, công ty tiến hành thử nghiệm trong môi trường sandbox không có kết nối Internet. Các tác nhân liên tục thao tác một công tắc quản trị giả để gỡ chặn mạng. Trong cả ba lần thử nghiệm, chúng đều tắt được công tắc này, nhưng tường lửa thật vẫn tiếp tục hoạt động.

Ngày 2 tháng 11, Trajectory Labs tạm dừng các thử nghiệm đánh giá tình trạng lệch chuẩn của AI. Công ty cho biết sẽ chỉ tiếp tục sau khi xây dựng đánh giá rủi ro và biện pháp giảm thiểu, đồng thời nhận được sự phê duyệt của giám đốc điều hành và giám đốc công nghệ.

Các điều kiện để thử nghiệm trở lại gồm kế hoạch rủi ro bằng văn bản, sự đồng ý trước của đơn vị vận hành hệ thống bên ngoài, giám sát tự động theo thời gian thực, cơ chế dừng khẩn cấp và quy trình thông báo cho các bên bị ảnh hưởng. Epoch AI cũng khuyến nghị lấy sự đồng ý trước, giám sát theo thời gian thực và báo cáo cho các bên liên quan đến sự cố làm tiêu chuẩn tối thiểu cho những đợt đánh giá sau này.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1