TURTLE nâng tỷ lệ nhiệm vụ khó trong AppWorld từ khoảng 20% lên 53%

TURTLE do các nhà nghiên cứu tại Đại học Stanford (Stanford University) và Google DeepMind phát triển đã nâng tỷ lệ nhiệm vụ được xếp vào nhóm khó trong bài đánh giá thao tác ứng dụng AppWorld từ khoảng 20% lên 53%. Mức tăng 165% mà bài nghiên cứu nêu là thay đổi tương đối của tỷ lệ nhiệm vụ khó, không phải mức tăng độ chính xác của mô hình AI.

Nhóm nghiên cứu công bố kết quả trong bản tiền ấn phẩm “Evolving Self-tuning Benchmarks for Long-Horizon Tool Use” (arXiv:2610.27307), được cập nhật ngày 21 tháng 10. TURTLE là hệ thống điều chỉnh các nhiệm vụ có sẵn để đánh giá khả năng sử dụng công cụ của AI khi phải thực hiện nhiều bước qua nhiều ứng dụng.

Các nhiệm vụ đánh giá cố định có thể khiến việc tìm ra dạng lỗi mới trở nên khó khăn khi mô hình đã quen với chúng. Thiết kế nhiệm vụ mới từ đầu và xác minh chúng hoạt động đúng cũng tốn công. TURTLE tận dụng các thành phần và môi trường thực thi của nhiệm vụ hiện có để giảm bớt khối lượng này.

Hệ thống gồm ba vai trò: đề xuất nhiệm vụ, mô hình giải nhiệm vụ và tạo phản hồi. Thành phần đề xuất dùng AlphaEvolve để chỉnh sửa nhiệm vụ; mô hình giải nhiệm vụ thực hiện phiên bản đã sửa; còn thành phần tạo phản hồi xem nhật ký thực thi, xác định nguyên nhân thất bại và đưa thông tin đó vào lần chỉnh sửa tiếp theo.

Thành phần đề xuất tạo nhiệm vụ mới bằng cách thay đổi hướng dẫn và luồng sử dụng công cụ của nhiệm vụ gốc. Hệ thống có thể thêm điều kiện hoặc bộ lọc, chèn bước trung gian hay yêu cầu phối hợp nhiều ứng dụng. Thay vì thiết kế từ đầu, hệ thống tái kết hợp các thành phần hoạt động được trong môi trường đánh giá hiện có.

Trước khi đưa quy trình đáp án của nhiệm vụ mới cho mô hình giải, nhóm nghiên cứu chạy thử trong môi trường mô phỏng để kiểm tra lỗi hệ thống. Mô hình thử mỗi nhiệm vụ 10 lần; chỉ những nhiệm vụ được giải hoàn toàn ít nhất một lần mới được xem là có thể thực hiện. Quy trình này nhằm ngăn nhiệm vụ không thể giải lọt vào bài đánh giá.

Điểm nhiệm vụ được thiết kế để cao nhất khi tỷ lệ hoàn thành trung bình của mô hình giải gần 50%. Cách này tập trung tìm những nhiệm vụ mà mô hình có cả lần thành công lẫn thất bại, đồng thời loại bớt câu hỏi mà mô hình gần như luôn giải được hoặc hầu như không thể giải. Trong AutomationBench, hệ thống cũng cho phép tính điểm một phần để điểm đánh giá của các nhiệm vụ khó không quá thưa.

Thí nghiệm chính diễn ra trên AppWorld, môi trường đánh giá thao tác ứng dụng. Từ 106 nhiệm vụ ban đầu, nhóm nghiên cứu tạo 735 nhiệm vụ mới. Mô hình giải hoàn toàn 69% nhiệm vụ cũ trong mọi lần thử và không giải được 12% nhiệm vụ nào; trong khi đó, gần như toàn bộ nhiệm vụ mới có tỷ lệ thành công trong khoảng 40–60%.

Độ khó của nhiệm vụ được đánh giá riêng với tỷ lệ giải thành công. Giám khảo Gemini 3.6 Flash xác định độ khó dựa trên mức độ tương tác và suy luận cần thiết, theo ba cấp độ dễ, trung bình và khó từng được dùng trong đánh giá của con người. Trong nhóm nhiệm vụ cũ, 80% được xếp dễ hoặc trung bình; trong nhóm nhiệm vụ mới, 53% được xếp khó và 44% ở mức trung bình.

Việc biến đổi nhiệm vụ hướng tới yêu cầu suy luận nhiều bước và kiểm tra điều kiện. Một ví dụ trong bài nghiên cứu mở rộng chỉ dẫn ban đầu: xác định tháng sinh của người dùng, tìm đồng nghiệp sinh cùng tháng và sống ở Seattle, sau đó gửi tiền kèm thông điệp riêng cho từng người và gửi email. Nhiệm vụ này đòi hỏi kết nối nhiều điều kiện thay vì chỉ thực hiện thao tác đơn giản trong ứng dụng.

Nhóm nghiên cứu ghi nhận tần suất xuất hiện của các đặc điểm nhiệm vụ như lọc logic và suy luận tăng từ 29% đến 212% trên AppWorld so với trước. TURTLE thay đổi cả cấu trúc bài toán bằng cách thêm điều kiện và bước sử dụng công cụ trung gian, thay vì chỉ điều chỉnh điểm của mô hình giải.

Trên AutomationBench, bộ nhiệm vụ dành cho ứng dụng công việc cũng được mở rộng. Cả 16 nhiệm vụ cũ đều yêu cầu dùng 4 ứng dụng; trong số 23 nhiệm vụ mới, 52% yêu cầu 5 ứng dụng và 13% yêu cầu 6 ứng dụng. Số tổ hợp ứng dụng cần thiết tăng từ 15 lên 30.

Nhóm nghiên cứu cũng áp dụng TURTLE cho τ-telecom và τ-banking, các bài đánh giá xử lý yêu cầu của khách hàng trong lĩnh vực viễn thông và ngân hàng. Với bài đánh giá viễn thông, nhóm tạo 299 nhiệm vụ từ 84 nhiệm vụ ban đầu. Với bài đánh giá ngân hàng, tùy phương thức truy xuất tài liệu, nhóm tạo lần lượt 82 nhiệm vụ từ 17 nhiệm vụ ban đầu và 178 nhiệm vụ từ 24 nhiệm vụ ban đầu.

Trên AppWorld, phạm vi kết hợp giữa đặc điểm nhiệm vụ và dạng lỗi khi giải tăng từ 49 lên 54 loại. Nhóm nghiên cứu cho biết các bài toán quá dễ có thể khó bộc lộ điểm yếu của mô hình, còn nhiệm vụ đã chỉnh sửa cho phép khảo sát nhiều dạng thất bại hơn.

Tuy nhiên, các kết quả chính dựa trên thí nghiệm dùng Gemma 4 31B-it làm mô hình giải nhiệm vụ. Những thí nghiệm bổ sung với Gemini 3.6 Flash và Gemini 3.1 Flash Lite chỉ xét một số nhiệm vụ ban đầu trên AppWorld. Nhóm nghiên cứu nêu chi phí suy luận khi gọi các mô hình thương mại và nhu cầu tăng số nhiệm vụ ban đầu để tạo bộ đánh giá lớn hơn là những hạn chế của nghiên cứu.