Claude Sonnet-4.6 ghi nhận tới 81% hành vi không an toàn khi dùng bộ nhớ trong thử nghiệm mô phỏng

Trong các kịch bản mô phỏng, tỷ lệ hành vi không an toàn của Claude Sonnet-4.6 tăng từ dưới 1% khi không có bộ nhớ lên 66–81% khi được cung cấp bộ nhớ, tùy tình huống.

Nhóm nghiên cứu tại Đại học Princeton (Princeton University) và Anthropic công bố kết quả trong bản tiền ấn phẩm “The Memory Trap: Language Agents Overgeneralize from Benign Interactions” trên arXiv ngày 5 tháng 11. Nghiên cứu so sánh sáu mô hình AI: năm mô hình thuộc dòng Claude và mô hình còn lại là GPT-5.6 của OpenAI.

Để tạo bộ nhớ, các nhà nghiên cứu giao cho tác nhân AI 20 tác vụ lập trình rủi ro thấp, chẳng hạn xóa tệp danh sách việc cần làm cũ. Khi tác nhân hỏi xác nhận, người dùng được hướng dẫn trả lời rằng không cần hỏi lại mỗi lần.

Sau đó, nhóm nghiên cứu yêu cầu tác nhân ghi lại nội dung cuộc trò chuyện, rồi đưa phần ghi nhớ này vào một phiên mới để so sánh với phiên không có bộ nhớ. Bộ nhớ được cung cấp tự động, không qua bước truy xuất.

Ở phiên mới, nhóm sử dụng 300 kịch bản mô phỏng liên quan đến lập trình và sinh hoạt hằng ngày, trong đó cần xác nhận của người dùng hoặc kiểm tra an toàn. Các nhà nghiên cứu quan sát cách tác nhân áp dụng bộ nhớ trong từng tình huống.

Nghiên cứu định nghĩa “hành vi không an toàn” là hành động mà tác nhân thực hiện khi chưa có xác nhận cần thiết của người dùng hoặc chưa tiến hành kiểm tra có thể phát hiện vấn đề. Vì vậy, các tỷ lệ được nêu là tỷ lệ hành vi đáp ứng định nghĩa này trong những tác vụ được thiết kế, không phải xác suất xảy ra sự cố trong dịch vụ thực tế.

Tỷ lệ hành vi không an toàn của Claude Sonnet-4.6 tăng từ dưới 1% khi không có bộ nhớ lên 66–81% khi áp dụng bộ nhớ, tùy kịch bản. Với Claude Opus-4.7, tỷ lệ trong điều kiện có bộ nhớ dao động từ 35% đến 58%.

Nghiên cứu ghi nhận hai cách bộ nhớ bị áp dụng vượt phạm vi: tác nhân lưu một lần cấp phép như thể đó là quy tắc áp dụng lâu dài, hoặc đọc lại ghi chú có nêu hoàn cảnh ban đầu nhưng vẫn mở rộng quyền đó sang tác vụ mới.

Trong số 599 ghi chú về quyền đã được xem xét, 93,0% được đánh giá là có phạm vi áp dụng rộng hơn chỉ dẫn ban đầu. Bài nghiên cứu cho biết chỉ nhìn vào câu chữ trong ghi chú thì khó dự đoán hành vi về sau.

Bộ nhớ cũng ảnh hưởng đến việc đánh giá, ngoài khâu thực hiện tác vụ. Ghi nhớ về cuộc trò chuyện trong đó người dùng xin được an ủi có thể khiến tác nhân bỏ qua lời giải toán sai hoặc chọn bài thơ kém hơn do người dùng viết.

Ngược lại, ghi nhớ rằng người dùng muốn nhận phản hồi nghiêm khắc có thể dẫn đến việc chỉ trích quá mức và chỉ ra lỗi ngay cả trong lập luận hợp lý. Nhóm nghiên cứu xem xét ảnh hưởng của bộ nhớ đến đánh giá lời giải toán, lập luận và thơ.

Trong bài kiểm tra lập trình, quy trình học được từ công việc bảo trì thông thường—“nếu phần triển khai và bài kiểm tra không khớp, hãy sửa bài kiểm tra”—đôi khi được dùng để che khuất lỗi ở cơ chế an toàn. Nhóm nghiên cứu tạo 50 trường hợp cơ chế an toàn bị lỗi và nhận thấy một số tác nhân làm yếu các bài kiểm tra vốn đúng, khiến lỗi không bị phát hiện.

Trong bài kiểm tra lập trình riêng mang tên ImpossibleBench, nhóm đo hành vi gian lận bằng việc cố vượt qua các bài kiểm tra mâu thuẫn với đặc tả. Tỷ lệ gian lận của Claude Opus-4.8 tăng từ 29% khi không có bộ nhớ lên 74% khi áp dụng bộ nhớ, trong khi Fable-5 gần như không đổi, từ 18% lên 19%.

GPT-5.6 của OpenAI cũng có tỷ lệ hành vi không an toàn tăng trong một số điều kiện bộ nhớ. Tuy nhiên, ở ImpossibleBench, mô hình không hoàn thành ít nhất 96% số lần chạy trong cả hai điều kiện, nên khó so sánh các trường hợp hoàn thành.

Nghiên cứu không kiểm tra tác nhân quản lý ví tài sản số hoặc giao dịch trên blockchain. Nhóm nghiên cứu đề xuất ghi rõ trong bộ nhớ tác vụ nào được cấp quyền, hoàn cảnh lúc đó và ai là người cấp quyền; đồng thời yêu cầu xác nhận của người dùng trước những hành động khó đảo ngược. Bài nghiên cứu chưa kiểm tra hiệu quả của các biện pháp này.