Token gấp 4,7 lần với cấu hình AI đa tác nhân, nhóm Amazon đề xuất bắt đầu từ cấu hình đơn

Nhóm nghiên cứu của Amazon (AMZN) và Đại học Washington (University of Washington) đề xuất bắt đầu triển khai tác nhân AI trong công việc doanh nghiệp bằng cấu hình đơn. Trong thử nghiệm, cấu hình đa tác nhân có tỷ lệ thành công cao nhất dùng lượng token gấp 4,7 lần và mất thời gian xử lý gấp 3,1 lần cấu hình đơn.

Trong nghiên cứu công bố ngày 7, nhóm so sánh 4 kiến trúc tác nhân AI và 8 cấu hình trên 13 quy trình thao tác chuẩn (SOP) của doanh nghiệp. SOP là quy trình tổ chức áp dụng để xử lý công việc.

Nhóm giữ nguyên mô hình Claude Opus 4.8, nhiệm vụ và công cụ, chỉ thay đổi kiến trúc tác nhân. Tỷ lệ thành công nhiệm vụ (TSR) được tính bằng tỷ lệ nhiệm vụ có câu trả lời đúng trong tổng số nhiệm vụ.

Cấu hình cơ sở với một tác nhân đạt tỷ lệ thành công 67,4%, dùng trung bình 24.900 token và xử lý mỗi nhiệm vụ trong 24 giây.

Ở cấu hình đơn có thêm kỹ năng chất lượng cao, tỷ lệ thành công tăng lên 73,1%. Trong khi đó, cấu hình gắn kỹ năng chất lượng thấp đạt 59,8%, thấp hơn mức cơ sở. Nhóm nghiên cứu nhận định chất lượng hướng dẫn và mức độ phù hợp với công việc quan trọng hơn việc có hay không có kỹ năng.

Kết quả của các cấu hình đa tác nhân khác nhau tùy cách tổ chức. Cấu hình ban đầu chia việc cho các tác nhân chuyên môn đạt tỷ lệ thành công 58,2%, thấp hơn cấu hình đơn cơ sở.

Cấu hình cung cấp cho mỗi tác nhân toàn bộ SOP và công cụ, đồng thời bổ sung việc phân công lại nhiệm vụ và xác minh kết quả, đạt tỷ lệ thành công 75,6% trong bảng kết quả. Nhóm cho biết đây là trường hợp duy nhất có hiệu suất cao hơn mức cơ sở một cách có ý nghĩa thống kê.

Cấu hình đa tác nhân cải tiến dùng 117.300 token cho mỗi nhiệm vụ và mất 73,5 giây xử lý. Các cấu hình có điều chỉnh trong nghiên cứu dùng lượng token cao gấp 1,4–4,7 lần và mất thời gian xử lý lâu hơn gấp 2,6–5,8 lần so với mức cơ sở. Cấu hình swarm có thời gian xử lý dài nhất, ở mức 138,6 giây. Nghiên cứu không quy đổi chi phí thanh toán thực tế thành số tiền.

Nhóm nghiên cứu xem xét liệu việc bổ sung cấu trúc có cải thiện hiệu suất trong các công việc phức tạp hay không, nhưng mối tương quan giữa độ phức tạp của công việc và mức cải thiện hiệu suất không có ý nghĩa thống kê. Kết quả không có nghĩa cấu hình đơn chính xác hơn trong mọi công việc. Nhóm đề xuất triển khai tác nhân đơn trước, sau đó đo lường xem mức cải thiện theo từng công việc có đủ để biện minh cho nguồn lực bổ sung hay không.

Nghiên cứu có điểm chưa nhất quán về tỷ lệ thành công. Bảng kết quả và phần nội dung nêu tỷ lệ 67,4% cho cấu hình đơn và 75,6% cho cấu hình đa tác nhân cải tiến trên 13 SOP. Phần kết luận lại ghi phạm vi đánh giá là 12 SOP, với các tỷ lệ tương ứng là 65,6% và 74,4%.

Nhóm cũng cho biết chưa xác minh được lỗi phát sinh ở cấu hình đa tác nhân cải tiến trong các nhiệm vụ yêu cầu xuất nhiều mục cùng lúc. Vì vậy, nghiên cứu đề nghị xem kết quả này là tạm thời.

Các nghiên cứu trước đây cũng xem xét đồng thời hiệu suất và mức sử dụng tài nguyên của tác nhân AI. Nghiên cứu về harness của Meta từng ghi nhận điểm số ở các bài kiểm tra toán học và lập trình tăng cùng với lượng token sử dụng.

Trong hướng dẫn thiết kế công bố ngày 9, Amazon Web Services (AWS) đề xuất dùng tác nhân đơn cho công việc đơn giản, còn công việc phức tạp trải rộng nhiều lĩnh vực có thể dùng tác nhân giám sát cùng các tác nhân chuyên môn. Đây là hướng dẫn AWS đưa ra cho người dùng dịch vụ của mình, không phải bình luận trực tiếp về nghiên cứu nói trên.

Thử nghiệm sử dụng các công cụ mô phỏng có kết quả được xác định trước thay vì dịch vụ thực tế. Nghiên cứu không đo lường độ trễ, lỗi có thể phát sinh khi vận hành dịch vụ hay biến động do chạy lặp lại; mô hình cũng chỉ giới hạn ở một loại. Công việc liên quan đến tài sản số và blockchain không nằm trong phạm vi đánh giá.