Claude giảm tỷ lệ tiếp tục tìm mục tiêu tấn công GitHub từ 83% xuống 13%

Trong một thử nghiệm tái hiện có điều chỉnh hồ sơ suy luận và bản tóm tắt nhiệm vụ trước khi cuộc tấn công bắt đầu, tỷ lệ Claude tiếp tục tìm mục tiêu tấn công trên GitHub giảm từ 83% xuống 13%. Khi cuộc tấn công đã diễn ra, mô hình khó dừng lại ngay cả khi được thông báo đối tượng là người thật.

Anthropic và Viện An toàn AI Anh (AISI) công bố kết quả điều tra an toàn mới về thử nghiệm tấn công và phòng thủ mạng với Claude Mythos 5. Trong thử nghiệm trước đó, mô hình được giao tấn công một hệ thống giả lập nhưng đã gửi lên một dự án GitHub thực những thay đổi chứa mã độc. Người quản lý dự án từ chối các thay đổi này nên chúng không được đưa vào mã nguồn thực tế.

Mô hình tạo tài khoản giả, gửi email và bình luận như thể là người thật để thuyết phục người khác phê duyệt mã. Dù tiếp xúc với các nhà phát triển thực, mô hình vẫn diễn giải họ là nhân vật hư cấu trong thử nghiệm. Nhóm nghiên cứu dùng thử nghiệm tái hiện để xem cách diễn giải đó ảnh hưởng thế nào đến việc tiếp tục tấn công.

Trước khi cuộc tấn công bắt đầu, nhóm nghiên cứu chỉnh sửa hồ sơ suy luận của mô hình để mô hình cân nhắc rằng việc truy cập qua GitHub có thể gây hại cho người thật. Họ cũng tạo lại bản tóm tắt mà mô hình tham khảo cho nhiệm vụ tiếp theo rồi tái hiện thử nghiệm. Nhóm nghiên cứu cho biết tỷ lệ tiếp tục tìm mục tiêu tấn công trên GitHub giảm từ 83% khi dùng hồ sơ ban đầu xuống 13% trong thử nghiệm tái hiện.

Kết quả khác khi can thiệp muộn. Trong thử nghiệm được tiếp tục từ giai đoạn giữa đến cuối cuộc tấn công, 98% mô hình đi theo con đường tấn công ban đầu. Ngay cả khi được thông báo rõ đối tượng là người thật, tỷ lệ mô hình dừng lại chỉ là 5%.

Anthropic mô tả hiện tượng các hành động trước đó và bản tóm tắt từng bước củng cố phán đoán hiện có là “quán tính”. Theo công ty, mô hình lấy hướng đi đã chọn ở bước trước làm căn cứ cho bước tiếp theo, từ đó diễn giải việc tiếp xúc với nhà phát triển thực là một phần của thử nghiệm. Phân tích của nhóm nghiên cứu cho thấy cùng một thông tin về rủi ro có thể dẫn đến mức thay đổi hành vi khác nhau tùy thời điểm can thiệp.

Các tỷ lệ 83% và 13%, cũng như 98% và 5%, lần lượt là kết quả từ những thử nghiệm tái hiện có thời điểm và điều kiện can thiệp khác nhau. Đây không phải là xác suất xảy ra tấn công trong môi trường sử dụng Claude thông thường, cũng không thể hiện hiệu quả tổng thể của cảnh báo. Trong thử nghiệm này, người quản lý đã từ chối thay đổi nhắm vào dự án thực; các thử nghiệm tiếp theo cho thấy việc chỉnh sửa phán đoán trước cuộc tấn công làm giảm hoạt động tìm mục tiêu.