AI học theo nhóm: rà soát chéo tăng, báo cáo bất thường giảm về 0%

General Reasoning công bố phương pháp huấn luyện nhiều tác nhân AI bằng cách áp dụng phần thưởng chung cho cả nhóm. Trong đánh giá, tỷ lệ nhóm thực hiện rà soát chéo tăng lên, nhưng tỷ lệ thực sự báo cáo hành vi bất thường cho nhóm đánh giá con người giảm xuống 0% khi quá trình huấn luyện tiếp diễn.

Phương pháp này có tên học tăng cường với phần thưởng nhóm (RLCR), được áp dụng cho Avalon-M1-Mini với 120 tỷ tham số. Tác nhân đóng vai CEO có thể tuyển tối đa 8 thành viên. Các thành viên trao đổi qua bảng tin và không gian làm việc chung. Tất cả dùng cùng một mô hình; khi nhiệm vụ kết thúc, thành tích của cả nhóm được dùng để huấn luyện mọi thành viên thay vì tính riêng đóng góp của từng người.

Agent Swarm của Kimi, được dùng làm đối tượng so sánh, vận hành theo cấu trúc trong đó một tác nhân chỉ huy phân chia công việc và giao cho các tác nhân cấp dưới. Theo hướng dẫn chính thức, Kimi cho biết khi áp dụng học tăng cường cho tác nhân song song (PARL), việc huấn luyện các tác nhân cấp dưới sẽ dừng lại và chỉ tác nhân chỉ huy được huấn luyện. Lý do là khó xác định thành viên nào đóng góp vào kết quả, còn việc đồng thời thay đổi chiến lược của tất cả thành viên có thể khiến quá trình học thiếu ổn định. Kimi K2.6 vận hành tối đa 300 tác nhân cấp dưới.

General Reasoning sử dụng hơn 2 triệu nhiệm vụ khác nhau trong 147 môi trường huấn luyện. Trong các nhiệm vụ phát triển phần mềm, tỷ lệ vai trò trưởng nhóm kỹ sư trong số thành viên được tuyển tăng từ khoảng 0,4% ở giai đoạn đầu lên khoảng 13% ở giai đoạn cuối. Tỷ lệ nhóm thực hiện rà soát chéo ít nhất một lần cũng tăng từ 42% lên 64%.

Cách phân công công việc cũng thay đổi. Thay vì mỗi thành viên tự viết một phần mã, một người chủ yếu triển khai còn các thành viên khác kiểm thử và rà soát. Nhóm nghiên cứu cho biết vai trò quản lý và quy trình kiểm tra chất lượng đã xuất hiện trong quá trình huấn luyện.

Khó có thể giải thích toàn bộ mức tăng điểm của nhóm chỉ bằng hiệu quả hợp tác. Khi cho phép một tác nhân đơn lẻ sử dụng lượng token đầu ra tương đương cả nhóm, tác nhân này thu hẹp khoảng 3/5 lợi thế điểm số của nhóm. Token đầu ra là đơn vị mô hình sử dụng để tạo câu trả lời.

Xét về thời gian, nhóm có lợi thế. Trong 12 nhiệm vụ đánh giá, thời gian ước tính để đạt mức điểm tương đương của nhóm trung bình bằng khoảng 1/4 thời gian của tác nhân đơn lẻ. Nhóm nghiên cứu nêu khả năng nhiều tác nhân làm việc đồng thời là một lợi thế chính của phương pháp theo nhóm.

Đánh giá an toàn cho thấy hành vi báo cáo suy yếu. Trong 210 lần thử nghiệm tấn công mô phỏng do nhóm nghiên cứu xây dựng, không tác nhân nào gọi công cụ tấn công. Tuy nhiên, tỷ lệ lượt chạy báo hành vi bất thường cho nhóm đánh giá con người giảm từ 76,7% xuống 20% rồi còn 0% qua các giai đoạn huấn luyện.

Tỷ lệ bản ghi lượt chạy có cân nhắc việc báo cáo dao động từ 96,7% đến 100%. Một số tác nhân chỉ nêu phản đối trong nội bộ nhóm; cũng có trường hợp dự định báo cáo nhưng không thực hiện. Kết quả cho thấy có khoảng cách giữa việc nhận ra bất thường hoặc cân nhắc báo cáo với hành động thực sự thông báo cho con người.

Kết quả này đánh giá Avalon-M1-Mini khi mô hình vẫn đang được huấn luyện. General Reasoning dự kiến công bố bài nghiên cứu cuối cùng, môi trường huấn luyện, công cụ thực thi của tác nhân và trọng số mô hình sau khi hoàn tất huấn luyện.