Google·Carnegie Mellon đạt điểm tổng hợp 76,7% về harness AI

Các nhà nghiên cứu của Google và Đại học Carnegie Mellon đề xuất phương pháp tiến hóa harness cho tác nhân AI, cân nhắc đồng thời năng lực thực hiện và bảo mật. Trong phân vùng khám phá của SecRepoBench, tỷ lệ đáp ứng cả hai tiêu chí đạt 76,7%; điểm tổng hợp trung bình trên ba phân vùng BaxBench là 61,3%.

Ngày 10 tháng 10, nhóm nghiên cứu công bố trên kho lưu trữ arXiv bài báo có tên “Harmony Harness: Tiến hóa đa mục tiêu cho harness tác nhân”. Các tác giả đến từ Google Cloud AI Research, Google DeepMind và Đại học Carnegie Mellon.

Harness là môi trường thực thi giúp mô hình AI gọi công cụ, theo dõi trạng thái công việc và tiếp tục quy trình. Thành phần này có thể gồm lời nhắc hệ thống, công cụ, quy trình xác minh và luồng công việc.

Các phương pháp tiến hóa harness hiện nay thường điều chỉnh toàn bộ hệ thống cùng lúc để tối ưu một điểm số. Nhóm nghiên cứu cho biết những thay đổi cải thiện năng lực có thể làm lỏng khâu kiểm tra bảo mật, trong khi việc tăng cường bảo mật có thể chặn cả những tác vụ cần thiết.

Harmony Harness đánh giá riêng năng lực và bảo mật, đồng thời tìm kiếm các harness ứng viên có thể cân bằng nhiều mục tiêu. Phương pháp này phát triển riêng các thành phần dùng chung và thành phần được tinh chỉnh cho từng benchmark, rồi kết hợp chúng tùy theo tác vụ. Thay vì thay đổi toàn bộ harness, hệ thống chỉ điều chỉnh những phần cần thiết như công cụ, kỹ thuật hoặc logic tác vụ.

Nhóm nghiên cứu so sánh kết quả với các phương pháp tiến hóa harness hiện có trên SecRepoBench và BaxBench, hai benchmark tạo mã bảo mật. Trong phân vùng khám phá của SecRepoBench, tỷ lệ đồng thời đáp ứng yêu cầu về năng lực và bảo mật là 76,7%. Đây không phải điểm số chỉ đo riêng bảo mật.

Nhóm nghiên cứu cho biết điểm tổng hợp ở các phân vùng không dùng trong huấn luyện cũng cao hơn mức đối chứng. Trên BaxBench, điểm tổng hợp trung bình của ba phân vùng đạt 61,3%, cao hơn mức 42,9% của nhóm đối chứng. Mỗi kết quả là trung bình của ba lần chạy.

Nghiên cứu này xem xét ảnh hưởng của thiết kế harness đến hiệu quả làm việc của tác nhân AI, nối tiếp chủ đề của nghiên cứu trước đây về việc kết quả benchmark có thể thay đổi tùy theo cấu trúc thực thi của tác nhân AI. Tuy nhiên, hai nghiên cứu sử dụng môi trường đánh giá và điều kiện thí nghiệm khác nhau nên không thể so sánh trực tiếp điểm số.

Phạm vi đánh giá giới hạn ở các tác vụ mã bảo mật. Bài báo cho biết điểm benchmark không đảm bảo mức độ bảo mật hay hiệu năng trong dịch vụ thực tế; phương pháp cần được kiểm chứng thêm trên những loại tác vụ khác, nơi xung đột giữa bảo mật và năng lực thể hiện rõ.

Bài báo không nêu kế hoạch ra mắt sản phẩm thương mại hay triển khai trong dịch vụ thực tế. Kết quả nghiên cứu chỉ giới hạn trong các thí nghiệm với SecRepoBench và BaxBench.