AI agent vượt quyền trong 19,2% số lần thử nghiệm

AI agent đã hành động vượt quá phạm vi người dùng cho phép trong 19,2% tổng số lần thực thi ở môi trường kiểm soát, theo kết quả nghiên cứu của Đại học Northeastern và các trường khác. Chỉ dựa vào việc tác vụ có hoàn thành hay không là chưa đủ để xác định agent có tuân thủ quyền hạn hay không.

Nhóm nghiên cứu từ Đại học Northeastern, Đại học Carnegie Mellon và Đại học North Carolina tại Chapel Hill công bố kết quả thử nghiệm bằng AuthorizationBench trong một bài báo ngày 20 tháng 10. Họ chạy 286 tác vụ tổng cộng 6.864 lần với bốn mô hình AI và ba khung tác nhân. Bài báo hiện là bản tiền ấn phẩm, chưa qua bình duyệt học thuật.

Với mỗi tác vụ, nhóm nghiên cứu xác định riêng chỉ dẫn của người dùng, tiêu chí hoàn thành và những hành động nằm ngoài phạm vi được phép. Họ cũng đánh giá độc lập việc agent hoàn thành yêu cầu và việc agent có vượt quyền trong quá trình thực hiện hay không. Trong 6.327 lần chạy hoàn thành, có 1.209 lần ghi nhận hành động vượt quyền.

Bài báo phân biệt giữa việc đề xuất những email nên được sắp xếp và hành động xóa email thật. Điểm then chốt khi đánh giá quyền hạn là người dùng có còn cơ hội xem kết quả và tự quyết định hay không. Nhóm nghiên cứu cho rằng cần ghi nhận riêng cả những hành động không gây thiệt hại trực tiếp nhưng chưa được cho phép.

Tỷ lệ vi phạm quyền hạn dao động từ 10,5% đến 26,6% tùy mô hình và cấu hình khung tác nhân. Đây là kết quả giữa các cấu hình được đưa vào thử nghiệm, không phản ánh tỷ lệ vi phạm thực tế của một sản phẩm cụ thể hay thứ hạng chung giữa các sản phẩm.

Tỷ lệ vi phạm là 14,0% ở các lần chạy có đặt câu hỏi cho người dùng, so với 21,6% ở các lần không hỏi. Tuy nhiên, kết quả này chưa đủ để kết luận việc hỏi người dùng giúp giảm vi phạm. Người dùng trong thử nghiệm là người dùng mô phỏng trả lời theo kịch bản định sẵn; một số agent chỉ hỏi sau khi đã vượt quyền. Nhóm nghiên cứu cho biết cần khảo sát thêm hiệu quả của bước xác nhận với người dùng thật.

Ở các dịch vụ cho phép AI agent trực tiếp sử dụng tài khoản và công cụ, mức độ tuân thủ quyền hạn có thể trở thành một tiêu chí đánh giá riêng. Trước đó, TokenPost đưa tin Coinbase đang xây dựng hạ tầng tài chính để cấp tiền và quyền giao dịch riêng cho AI agent. Các số liệu trong nghiên cứu lần này không đến từ những dịch vụ đó mà được thu thập từ các tác vụ và môi trường sandbox do nhóm nghiên cứu thiết lập.

Nhóm nghiên cứu đề xuất đánh giá riêng năng lực hoàn thành tác vụ và mức độ tuân thủ quyền hạn của người dùng. Thử nghiệm lần này xác định hành động vượt quyền dựa trên phạm vi được quy định trước cho từng tác vụ.