AI Agent tận dụng cả những sửa đổi không được chọn để cải thiện

AI agent có thể dùng kết quả từ những phương án sửa đổi không được chọn để cải thiện trong các lần tiếp theo. Phương pháp HMED do nhóm nghiên cứu đề xuất đạt hiệu suất trung bình ở các lần đánh giá sau cao hơn phương pháp đối chứng trong cả 6 thiết lập thử nghiệm, kết hợp hai mô hình với ba nhiệm vụ.

Ngày 6 tháng 10, các nhà nghiên cứu thuộc Đại học Thanh Hoa, Đại học Giao thông Thượng Hải và Viện Nghiên cứu Đổi mới Thượng Hải công bố bản tiền xuất bản trên arXiv với tiêu đề “Học từ kết quả sửa đổi: Chưng cất trải nghiệm hậu nghiệm cho các agent tự cải thiện”. Trong bài báo, “Meta” chỉ “kỹ năng meta” về cách agent tự cải thiện, không phải công ty Meta.

Năng lực agent dùng để trực tiếp thực hiện nhiệm vụ được gọi là “kỹ năng nhiệm vụ”, còn quy trình tìm kiếm và điều chỉnh những năng lực đó là “kỹ năng meta”. Nếu chỉ xem kết quả cuối cùng của một lần cải thiện, khó xác định thành tích đến từ điều kiện ban đầu thuận lợi hay từ quy trình sửa đổi.

HMED khôi phục trạng thái trước đây khiến kỹ năng meta được điều chỉnh, sau đó chạy riêng phương thức trước và sau sửa đổi để so sánh kết quả. Kết quả so sánh được ghi lại thành “trải nghiệm meta” và chuyển sang lần sửa đổi tiếp theo. Ngay cả khi phương án sửa đổi không được chọn, thông tin về quá trình tìm kiếm và những thay đổi về năng lực được phát hiện vẫn có thể phục vụ các lần cải thiện sau.

Nhóm nghiên cứu áp dụng Qwen3-32B và DeepSeek-v4-Flash vào ba nhiệm vụ: ALFWorld, ScienceWorld và BiomniBench-DA. Theo bài báo, HMED đạt hiệu suất trung bình ở các lần đánh giá sau cao hơn phương pháp đối chứng trong cả sáu thiết lập kết hợp hai mô hình với ba nhiệm vụ.

Trên ALFWorld, tỷ lệ thành công của Qwen3-32B tăng từ 51,49% với MetaSkill-Evolve, phương pháp tiến hóa kỹ năng meta hiện có, lên 54,11% với HMED. Tỷ lệ thành công trên ScienceWorld tăng từ 20,84% lên 22,56%. Điểm BiomniBench-DA, nhiệm vụ phân tích y sinh, tăng từ 17,80 lên 20,78 trên thang 100 điểm.

Nhóm nghiên cứu cũng thử nghiệm cấu hình loại bỏ bước chuyển kết quả sửa đổi sang lần cập nhật tiếp theo. Tỷ lệ thành công của cấu hình này trên ALFWorld là 49,25%, thấp hơn 4,86 điểm phần trăm so với mức 54,11% của HMED đầy đủ. Nhóm nghiên cứu cho biết việc chuyển kết quả sửa đổi sang lần cải thiện tiếp theo cũng góp phần tạo ra chênh lệch hiệu suất trong thử nghiệm này.

Nghiên cứu đánh giá quy trình cải thiện agent trên các bài kiểm tra chuẩn. Bài báo không đưa ra kết quả đo lường agent giao dịch tài sản mã hóa hay hiệu suất của dịch vụ thực tế.

Cũng có nghiên cứu của Perplexity về việc dùng các lần thử thất bại và nội dung sửa đổi để giảm tỷ lệ gọi công cụ thất bại. Hai nghiên cứu đều khai thác thông tin từ thất bại cho những lần cải thiện sau, nhưng bài báo lần này tập trung vào phương pháp so sánh kỹ năng meta trước và sau sửa đổi trong cùng một trạng thái.