9 môi trường thử nghiệm cho thấy AI agent khó phối hợp, quy tắc chung chỉ cải thiện một phần

Các AI agent dựa trên mô hình ngôn ngữ lớn (LLM) có thể thất bại khi phối hợp trong những nhiệm vụ đơn giản nếu lần đầu gặp nhau mà chưa thống nhất cách hiểu quy tắc. Nguyên tắc chung giúp giảm tỷ lệ thất bại ở một số môi trường, nhưng không hiệu quả với mọi nhiệm vụ.

Các nhà nghiên cứu Đại học Oxford (University of Oxford) đánh giá khả năng “điều phối zero-shot” (ZSC) của các agent trong nghiên cứu “Zero-Shot Coordination among LLM Agents”, công bố ngày 4 tháng 11. Thử nghiệm ghép cặp các agent được tạo độc lập để giải nhiệm vụ lần đầu trong 9 môi trường trò chơi đơn giản hóa, gồm “Cat & Dog” và “Tiny Hanabi”.

Điều phối zero-shot là tình huống các agent lần đầu phối hợp mà không trao đổi trước hoặc thích nghi với đối phương. Nếu mỗi agent tự giả định những quy tắc không được chia sẻ, chúng có thể hiểu cùng một hành động hoặc tín hiệu theo những cách khác nhau.

Trong trò “Cat & Dog”, một agent nhìn thấy mèo hoặc chó rồi truyền thông tin bằng đèn; agent còn lại đoán con vật. Nếu chưa thống nhất trước việc đèn bật có nghĩa là mèo hay chó, cùng một tín hiệu có thể mang ý nghĩa khác nhau với mỗi bên.

Trong thử nghiệm, Gemini 3 Pro chọn quy ước đèn bật là mèo, còn GPT-5.2 có trường hợp hiểu tín hiệu đó theo hướng ngược lại. Mỗi agent dường như cho rằng đối phương cũng sẽ tuân theo quy tắc do mình tự chọn.

Các nhà nghiên cứu cũng thử bỏ bức tường để agent bên kia có thể trực tiếp nhìn thấy con vật. Dù vậy, một số agent vẫn dựa vào quy ước đèn được chọn tùy ý.

Khác biệt cũng xuất hiện trong thử nghiệm tạo quy tắc hành động bằng mã. Các cặp chính sách được tạo độc lập đạt kết quả thấp hơn những cặp dùng cùng một chính sách.

Trong một số trường hợp, lựa chọn của agent thay đổi khi tên quy tắc được đổi hoặc mô tả nhiệm vụ được trình bày bằng ngôn ngữ khác. Các nhà nghiên cứu cho biết cách diễn đạt nhiệm vụ và khả năng suy luận hành động của đối phương cùng ảnh hưởng đến kiểu thất bại khi phối hợp.

Tuy nhiên, nghiên cứu không tách riêng và chứng minh nguyên nhân thất bại của từng yếu tố. Hiệu suất tổng quát cao hơn hoặc khả năng suy luận nhiều hơn cũng không đồng nghĩa agent sẽ phối hợp tốt hơn với một đối tác mới gặp lần đầu.

Các nhà nghiên cứu đưa “định nghĩa thân thiện với hợp tác” (CFD), một bộ nguyên tắc bằng ngôn ngữ tự nhiên để các agent cùng tuân theo, vào câu lệnh. Cách này hướng agent hành động theo quy tắc chung thay vì dựa vào quy ước tùy ý hoặc phân vai.

Trong “Cat & Dog”, CFD khiến agent chọn cách để đối phương trực tiếp nhìn thấy con vật thay vì dùng tín hiệu đèn. Tùy nhiệm vụ, cách này cho phép phối hợp mà không cần thống nhất riêng một hệ thống tín hiệu.

Ở thử nghiệm với agent dạng văn bản, sau khi áp dụng CFD, tỷ lệ thất bại khi phối hợp giảm ở 6 trong 9 môi trường đối với Grok 4.1 Fast và 5 trong 9 môi trường đối với GPT-5.2. Đây là số môi trường có tỷ lệ thất bại được cải thiện, không phải tỷ lệ thất bại tổng thể của mỗi mô hình.

Ở một số môi trường, quy tắc chung lại thu hẹp lựa chọn. Agent có thể lặp lại những hành động an toàn và không hình thành được quy ước mới cần thiết để hoàn thành nhiệm vụ.

Các nhà nghiên cứu cũng thử phương pháp tự động tìm kiếm quy tắc. Những định nghĩa được tìm tự động đem lại cải thiện hạn chế ở một số mô hình không tham gia huấn luyện, nhưng hiệu quả không được ghi nhận ở mọi tổ hợp mô hình.

TokenPost từng đưa tin về một thử nghiệm với 45 AI agent, trong đó kết quả phối hợp thay đổi tùy nhiệm vụ. Một trường hợp khác là sàn giao dịch tài sản số trao quyền đặt lệnh cho AI agent. Tuy nhiên, nghiên cứu lần này chỉ xem xét các môi trường trò chơi đơn giản hóa, không chứng minh hiệu suất trong công việc thực tế hoặc môi trường robot, cũng không thử nghiệm sự phối hợp giữa agent trong giao dịch tài sản số hay dịch vụ blockchain.