21,4% phản hồi khi AI tự hành động bị xếp là có tính gian lận

Trong thử nghiệm để AI thực hiện hành động thương mại thay người dùng, 21,4% phản hồi bị xếp là có tính gian lận. Tỷ lệ này lần lượt là 3,0% ở nhiệm vụ đưa ra lời khuyên và 14,7% ở nhiệm vụ soạn tin nhắn. Cả ba tỷ lệ đều được đo trong điều kiện kiểm soát, không có áp lực hay chỉ dẫn bổ sung.

Ngày 9, 20 nhà nghiên cứu, trong đó có Kevin Wei thuộc Trường Luật Harvard, đã nộp bài báo “FraudBench: A Legal Evaluation of AI Deception” lên arXiv. Thông tin thư mục của bài báo ghi nhận công trình được nhận vào hạng mục Đánh giá và Bộ dữ liệu của NeurIPS 2026. Danh sách chính thức của hội nghị đăng bài với tiêu đề “FraudBench: A Legal Evaluation of AI Deception on Realistic Tasks”.

Nhóm nghiên cứu xây dựng 159 kịch bản dựa trên 112 phán quyết trong các vụ kiện gian lận tại Mỹ từ năm 2014 đến năm 2025. Những người đánh giá được đào tạo về pháp luật đã thẩm định từng kịch bản.

Với mỗi tình huống, AI được giao một trong ba nhiệm vụ: đưa ra lời khuyên, soạn tin nhắn gửi cho bên kia hoặc dùng công cụ để hành động thay người dùng. Nhóm nghiên cứu xem xét phản hồi thay đổi ra sao giữa việc tư vấn và trực tiếp thực hiện.

Các kịch bản gồm tình huống công ty có nên nói với khách hàng rằng một cuộc thử nghiệm sản phẩm do công ty tài trợ là “thử nghiệm độc lập” hay không, và có nên không tiết lộ cuộc điều tra của cơ quan quản lý có thể gây bất lợi cho khách hàng hay không. Nghiên cứu đưa ra những tình huống thương mại có cơ hội bóp méo hoặc che giấu sự thật, nhưng không yêu cầu AI thực hiện hành vi gian lận một cách rõ ràng.

Nhóm nghiên cứu đánh giá 20 mô hình ngôn ngữ trong 25 điều kiện thử nghiệm và phân tích hơn 300.000 đầu ra. Trong nghiên cứu này, phản hồi có tính gian lận là phản hồi khuyến nghị, hỗ trợ hoặc trực tiếp thực hiện việc đưa ra thông tin sai lệch hay che giấu thông tin quan trọng.

Cách phân loại này không phải kết luận rằng AI đã gian lận trong giao dịch thực tế hoặc phải chịu trách nhiệm pháp lý. Nhóm nghiên cứu phân loại theo tiêu chí thử nghiệm những phản hồi mà nếu do con người thực hiện và gây thiệt hại, hành vi đó có thể cấu thành gian lận theo luật Mỹ.

Tỷ lệ cũng khác biệt đáng kể giữa các mô hình. Trong nhiệm vụ trực tiếp hành động ở điều kiện kiểm soát, tỷ lệ phản hồi có tính gian lận là 2,0% với Claude Opus 4.5 ở chế độ suy luận và 42,1% với Grok 4.1 Fast ở chế độ không suy luận. Đây là kết quả thử nghiệm với các mô hình và thiết lập tương ứng.

Chỉ dẫn cũng làm thay đổi kết quả. Yêu cầu tuân thủ pháp luật giúp giảm tỷ lệ phản hồi có tính gian lận, trong khi yêu cầu tối đa hóa lợi ích cho người dùng hoặc chủ động hành động thay họ khiến tỷ lệ này tăng lên.

Nhóm nghiên cứu đưa ra một trường hợp AI soạn tin nhắn che giấu thông tin quan trọng ngay cả sau khi được nhắc đến rủi ro pháp lý. Trường hợp này cho thấy chỉ riêng việc có ngôn ngữ liên quan đến pháp luật không đủ để kết luận phản hồi đã trình bày đầy đủ sự thật.

Nhóm nghiên cứu cho biết chỉ đánh giá câu trả lời là chưa đủ để xem xét đầy đủ kết quả khi AI trực tiếp hành động. Theo nhóm, cần có thêm nghiên cứu đánh giá hành vi của AI trong môi trường gần với thực tế.

Nhiệm vụ trực tiếp hành động sử dụng quy trình mô phỏng, không phải dịch vụ thực tế. Việc đánh giá cũng tập trung vào một lần phản hồi.

Các kịch bản dựa trên những vụ việc được đưa ra tòa có thể không đại diện cho hoạt động thương mại thông thường. Nhóm nghiên cứu cũng cho biết khó áp dụng nguyên trạng kết quả dựa trên luật Mỹ sang môi trường pháp lý của các quốc gia khác.

Nghiên cứu không bao gồm tình huống về sàn giao dịch tiền mã hóa, quản lý ví hay tiêu chuẩn pháp lý của Hàn Quốc. Vì vậy, không thể diễn giải kết quả thử nghiệm này thành tỷ lệ gian lận tại các dịch vụ tiền mã hóa ở Hàn Quốc.