Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Claude Code: 75/180 lần mô hình đổi đáp án đúng thành sai trong thử nghiệm ủy quyền

Bàn tay đối chiếu các bản ghi trong kho lưu trữ tệp, hình ảnh do AI tạo / TokenPost.ai (mono)

Trong thử nghiệm có kiểm soát với Claude Code, ở điều kiện “stacked” khi giao Haiku 4.5 đọc các bản ghi giả mạo, mô hình đổi đáp án đúng thành sai 75 lần trong 180 lượt. Nhóm nghiên cứu cho biết kết quả này xuất hiện trong một thử nghiệm cụ thể kết hợp nhiều kiểu làm giả.

Trong bài nghiên cứu gửi lên arXiv lúc 6 giờ 14 ngày 13 (giờ Hàn Quốc, KST), nhóm nghiên cứu thử nghiệm Claude Code và Codex. Họ đưa các bản ghi giả mạo vào kho lưu trữ tệp, rồi yêu cầu mô hình chọn đáp án đúng trong hai lựa chọn.

Thử nghiệm sử dụng các bản ghi chứa thông tin hư cấu cùng câu hỏi trắc nghiệm hai lựa chọn. Bản ghi gốc có đáp án đúng vẫn được giữ nguyên.

Trong bài nghiên cứu, “đổi đáp án thành sai” nghĩa là mô hình ban đầu trả lời đúng, nhưng sau khi tiếp xúc với bản ghi giả mạo thì chọn đáp án sai theo hướng mà kẻ tấn công muốn. Nhóm nghiên cứu tổng hợp kết quả của từng tổ hợp mô hình theo tiêu chí này.

Opus 5 của Claude Code đổi đáp án đúng thành sai 1 lần trong 180 lượt khi trực tiếp đọc bản ghi giả mạo. Ở điều kiện “stacked”, trong đó giao việc đọc cho mô hình phụ, số lần đổi đáp án thành sai là 75.

Với Codex, GPT-5.6-sol không lần nào đổi đáp án đúng thành sai trong 180 lượt khi trực tiếp đọc tài liệu. Ở điều kiện “gloss”, khi giao việc đọc cho GPT-5.6-terra, mô hình đổi đáp án thành sai 44 lần.

Cách hai sản phẩm được hướng đến việc ủy quyền cũng khác nhau. Với Claude Code, nhóm nghiên cứu giới hạn mô hình cấp trên chỉ được gọi mô hình phụ thông qua công cụ Task. Với Codex, họ dùng chỉ dẫn để khuyến khích ủy quyền, sau đó kiểm tra xem việc ủy quyền có thực sự diễn ra trong từng lượt thử hay không.

Kết quả cũng thay đổi tùy loại tấn công. Trong điều kiện “gloss”, Codex không chọn đáp án sai khi trực tiếp đọc tài liệu. Tuy nhiên, ở điều kiện “correction” riêng biệt, mô hình đổi đáp án thành sai 172 lần trong 180 lượt dù trực tiếp đọc tài liệu.

Các bản ghi giả mạo có những dấu hiệu nhận biết: ngày ghi trên văn bản giả sớm hơn ngày của bản ghi mà văn bản tuyên bố đính chính, đồng thời thiếu ký hiệu tiếp nhận có trong bản ghi thật.

Trong các điều kiện được thử nghiệm, hình thức prompt injection ra lệnh trực tiếp cho công cụ tự động đổi câu trả lời không có tác dụng. Nhóm nghiên cứu cho biết kết quả khác nhau giữa kiểu tấn công trình bày thông tin sai như một bản ghi và kiểu tấn công chèn chỉ thị trực tiếp.

Trong điều kiện “stacked” của Claude Code, chỉ 96 trong số 180 báo cáo mà mô hình phụ gửi cho mô hình cấp trên còn giữ lại dấu hiệu về nguồn. Ngay cả trong các báo cáo có dấu hiệu này, mô hình vẫn chọn sai 21 trong 96 lượt. Vì vậy, việc thiếu dấu hiệu về nguồn không thể giải thích toàn bộ kết quả.

Nhóm nghiên cứu nêu khả năng quá trình ủy quyền làm giảm cơ hội kiểm chứng, nhưng không kết luận đây là nguyên nhân đã được chứng minh. Có trường hợp mô hình cấp trên chọn sai dù báo cáo còn dấu hiệu về nguồn, và phần phân tích dựa trên mối liên hệ quan sát được.

Trong điều kiện đối chứng sử dụng mô hình phụ cùng cấp, Claude Code không đổi đáp án đúng thành sai lần nào trong 180 lượt (0/180), còn Codex có 1 lần trong 180 lượt (1/180). Khi giao việc cho mô hình phụ trong kho lưu trữ không có bản ghi giả mạo, cả hai công cụ đều không đổi đáp án đúng thành sai.

Trong một thử nghiệm riêng gồm 40 lượt, ở điều kiện có 15 câu trả lời sai, yêu cầu mô hình phụ trích dẫn bản ghi gốc giúp giảm số câu trả lời sai xuống còn 3. Ở điều kiện yêu cầu mô hình nghi ngờ kho lưu trữ, con số này là 1. Tuy nhiên, khác biệt giữa hai cách phòng vệ không có ý nghĩa thống kê (p=0,63).

Trong 3.652 cặp thử nghiệm lặp lại, phán đoán về cùng một sự thật khác nhau ở 13,0% số trường hợp. Nghiên cứu dùng các bản ghi hư cấu trong một thử nghiệm có kiểm soát, không thử nghiệm dịch vụ tài sản số hay dữ liệu blockchain. Do đó, các con số này không thể được xem là tỷ lệ lỗi của người dùng thực tế hoặc tỷ lệ xảy ra sự cố bảo mật.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1