Claude tiếp cận 4 hệ thống thực tế, kiểm soát quyền hạn cần được ưu tiên

Bốn trường hợp AI agent tiếp cận các hệ thống bên thứ ba thực tế kết nối internet đã được công bố, làm dấy lên quan điểm rằng quản lý quyền hạn và kiểm soát mạng cần được ưu tiên trước kiểm toán bên ngoài. Các trường hợp này liên quan đến Claude của Anthropic, xảy ra do lỗi cấu hình trong môi trường đánh giá an ninh mạng.

Anthropic công bố các trường hợp trên vào ngày 9 tháng 9. Cả bốn đều xảy ra trong một cuộc đánh giá an ninh mạng do cùng một đối tác đánh giá bên ngoài thực hiện, trong đó không có dấu hiệu Claude phối hợp với agent khác. Anthropic cho biết đã thông báo cho tất cả bên bị ảnh hưởng.

Anthropic đã rà soát rộng khoảng 481 triệu bản ghi, sau đó phân tích thêm 9,2 triệu bản ghi có dấu hiệu truy cập internet. Công ty cho biết không phát hiện trường hợp tương tự hoặc nghiêm trọng hơn ngoài bốn trường hợp đã công bố.

Anthropic dự kiến tiến hành cuộc điều tra kéo dài 8 tuần với tổ chức đánh giá độc lập METR. Quy trình này nhằm xác định lỗi cấu hình trong môi trường đánh giá đã dẫn đến việc tiếp cận hệ thống bên ngoài thực tế như thế nào và các cơ chế kiểm soát có hoạt động đúng hay không.

Dario Amodei, CEO Anthropic, ngày 12 tháng 9 đề xuất trao cho các tổ chức đánh giá bên ngoài quyền truy cập thường trực ở cấp nhân viên để độc lập kiểm tra việc tuân thủ các quy tắc an toàn AI và các sự cố. Đề xuất này nhằm bảo đảm tổ chức đánh giá bên ngoài có thể kiểm tra đầy đủ tài liệu nội bộ và môi trường vận hành để xác minh mức độ an toàn.

Tuy nhiên, các chuyên gia an ninh mạng cho rằng chỉ kiểm toán độc lập là khó ngăn chặn sự cố. Kate Moussouris, CEO Luta Security, nhận định kiểm toán bên ngoài có thể trở thành cách 'thuê ngoài' việc giải quyết vấn đề.

Moussouris cho rằng cần thiết lập trước cơ chế quản lý quyền hạn theo từng agent, chặn mạng, ghi nhật ký và giám sát theo thời gian thực. Việc ghi lại agent đã gọi công cụ nào và kết nối với hệ thống nào trong giai đoạn vận hành có ý nghĩa quan trọng, vì cho phép chặn ngay khi sự cố xảy ra.

Kiểm toán bên ngoài có vai trò phát hiện những vấn đề khó nhận ra từ bên trong tổ chức. Dù vậy, nếu quản lý quyền hạn, mạng và nhật ký không hoạt động, cuộc kiểm toán có thể chỉ dừng ở việc xác định nguyên nhân sau khi sự cố đã xảy ra.

OpenAI cũng đã công bố các trường hợp agent tác động đến hệ thống bên ngoài. Sau sự cố trên Hugging Face, OpenAI mở rộng phạm vi xem xét sang 'agent spam' đăng thông tin lên các trang bên thứ ba, hành vi vượt qua kiểm soát truy cập và việc sử dụng thông tin xác thực bị lộ. Công ty cho biết đến nay đã thông báo cho hàng chục bên thứ ba.

Trong tài liệu an toàn liên quan đến Astra ngày 1 tháng 9, OpenAI cho biết đã áp dụng trong môi trường vận hành hệ thống giám sát suy luận và hành động của mô hình, đồng thời tự động dừng khi phát hiện hoạt động chưa được phê duyệt. OpenAI cũng cho biết đã tăng cường cô lập hạ tầng đào tạo, kiểm soát mạng và giám sát sau sự cố trên Hugging Face.

Một trường hợp riêng cũng được nêu, trong đó agent của OpenAI đăng bài trên một trang wiki tiếng Đức. Nhóm nghiên cứu độc lập cho rằng các agent đã đăng bài trên trang này từ tháng 5 đến tháng 6, nhưng OpenAI khi đó chưa xác nhận liệu agent nói trên có thuộc hệ thống của mình hay không và thời điểm công ty nhận biết sự việc.

Avery Pennarun, CEO Tailscale, chỉ ra rằng việc cấp cho agent quyền tải xuống từ internet có thể khiến sandbox khó hoạt động đúng. Sandbox là cơ chế cô lập chương trình hoặc agent trong môi trường hạn chế, nhưng hiệu quả cô lập có thể suy yếu nếu cho phép kết nối internet và quyền sử dụng công cụ bên ngoài.

Khái niệm 'tam giác chí mạng' do Simon Willison giải thích cũng đề cập đến rủi ro tương tự. Khi agent đồng thời tiếp cận đầu vào không đáng tin cậy, internet và thông tin không công khai, khả năng agent gửi thông tin ra hệ thống bên ngoài hoặc thực hiện hành động vượt quá quyền hạn sẽ tăng lên.

Vấn đề này đặt ra yêu cầu các doanh nghiệp trong nước phải kiểm tra trước phạm vi quyền hạn và kết nối mạng khi đưa AI agent vào hệ thống nghiệp vụ. Trong một cuộc đánh giá trước đây về hành vi trái phép của AI agent nhằm vào tổ chức thực tế, quyền truy cập internet và hành động vượt phạm vi phê duyệt cũng là những điểm tranh luận chính.

Trọng tâm của tranh luận lần này là liệu kiểm toán bên ngoài và kiểm soát nội bộ có phải hai phương án thay thế lẫn nhau hay không. Anthropic dự kiến tiến hành điều tra cùng METR trong 8 tuần, trong khi cách các phòng thí nghiệm AI vận hành quyền hạn kiểm toán cùng với kiểm soát quyền agent, mạng và nhật ký sẽ tiếp tục được chú ý.