Tỷ lệ hoàn thành tác vụ AI tăng 22,1 điểm phần trăm trong đánh giá nội bộ của Microsoft

Microsoft (MSFT) ghi nhận tỷ lệ hoàn thành tác vụ phức tạp cao hơn 22,1 điểm phần trăm khi áp dụng hệ thống thực thi mới cho cùng một mô hình AI. Kết quả cho thấy cách tác nhân AI quản lý công cụ và các bước công việc có thể làm thay đổi điểm đánh giá, dù mô hình không đổi.

Trong sách trắng công bố ngày 7 tháng 11, Microsoft cho biết họ đã thử hệ thống Copilot Harness mới và hệ thống thực thi tiêu chuẩn của Copilot Studio trên cùng bộ tác vụ. Với Claude Opus 4.8, hệ thống mới đạt tỷ lệ hoàn thành cao hơn 22,1 điểm phần trăm; trong so sánh với GPT-5.5 Chat, mức chênh lệch là 10,8 điểm phần trăm. Cả hai kết quả đều đến từ đánh giá nội bộ của công ty.

Harness là hệ thống thực thi hỗ trợ mô hình sử dụng công cụ, tiếp nối các bước công việc và quyết định hành động tiếp theo sau khi gặp lỗi. Hệ thống này quản lý cả môi trường làm việc và trạng thái tiến độ, bên cạnh cách mô hình tạo câu trả lời.

Hệ thống tiêu chuẩn được thiết kế để phản hồi nhanh trong hội thoại với người dùng và trả kết quả sau từng bước. Hệ thống mới sử dụng công cụ dòng lệnh và tệp trong một container bảo mật, cho phép mô hình tiếp tục xử lý công việc qua nhiều bước.

Microsoft cho biết hệ thống mới gọi mô hình khoảng gấp đôi số lần cho mỗi tác vụ. Mức tiêu thụ token đầu vào được tính theo chi phí có xét đến việc sử dụng bộ nhớ đệm thấp hơn 15–21% so với hệ thống tiêu chuẩn. Điều này không có nghĩa số token đầu vào thực tế giảm tương ứng.

Dữ liệu vận hành thực tế cho thấy tỷ lệ tiếp tục công việc sau khi lệnh gọi công cụ thất bại đạt 84–91% với hệ thống mới, so với dưới 7% ở hệ thống tiêu chuẩn. Đây là tỷ lệ tiếp tục xử lý sau lỗi, không phải tỷ lệ hoàn thành tác vụ cuối cùng.

Một nghiên cứu riêng về lập trình được công bố ngày 8 tháng 9 đã đánh giá 80 tác vụ bằng cùng Claude Opus 4.8. Tỷ lệ hoàn thành trung bình của hai hệ thống thực thi lần lượt là 48,8% và 50,0%, với chênh lệch 1,25 điểm phần trăm. Nhóm nghiên cứu cho biết khoảng tin cậy trải từ -10 đến 7,5 điểm phần trăm, nên chưa xác nhận được hệ thống nào có mức trung bình vượt trội.

Nghiên cứu này tập trung vào tác vụ lập trình, còn đánh giá của Microsoft hướng tới công việc doanh nghiệp. Do bộ tác vụ và môi trường thử nghiệm khác nhau, không thể so sánh trực tiếp điểm số của hai kết quả; riêng kết quả của Microsoft cũng chưa đủ để kết luận hệ thống mới tốt hơn trên các loại tác vụ khác.

Trước đó, TokenPost đã đưa tin về nghiên cứu của các nhà nghiên cứu Microsoft, trong đó việc xác thực trước khi lưu ký ức dài hạn giúp tỷ lệ hoàn thành tác vụ tìm kiếm trong cơ sở dữ liệu tăng từ 39% lên 73%. Nghiên cứu đó xem xét cách lưu ký ức dài hạn, khác với đánh giá harness lần này.

Ngày 28 tháng 10, Microsoft bắt đầu chương trình thử nghiệm công khai Copilot Harness trên Foundry Agent Service. Dịch vụ này cho phép nhà phát triển tạo tác nhân thực hiện công việc kéo dài bằng hệ thống thực thi do Microsoft quản lý.

Nhà phát triển có thể chọn mô hình được hỗ trợ rồi kết nối công cụ và quy trình làm việc. Microsoft quản lý quá trình chạy tác nhân và môi trường sandbox; tùy công việc, một số bước cũng có thể được giao cho các tác nhân con.

Ngày 5 tháng 11, Kimi ra mắt Kimi Hosted Agents dành cho doanh nghiệp và nhà phát triển. Môi trường này chạy tác nhân trong thời gian dài trên đám mây, đồng thời cho phép doanh nghiệp đặt phạm vi truy cập công cụ, dừng quá trình chạy hoặc kiểm tra nhật ký. Kimi giới thiệu 8 khung tác nhân cho công việc tài chính, gồm nghiên cứu đầu tư và đối chiếu quỹ.

Trong tài liệu kỹ thuật về tác nhân được quản lý, Anthropic cho biết hãng vận hành riêng nhật ký thực thi, harness và môi trường biệt lập để chạy mã, qua đó cho phép thay đổi từng thành phần độc lập.

Microsoft dự kiến áp dụng phí theo mức sử dụng cho Copilot Harness trên Foundry từ ngày 1 tháng 12. Điện toán sandbox có giá 0,0994 USD mỗi giờ vCPU (khoảng 134 won) và bộ nhớ có giá 0,0118 USD mỗi GiB mỗi giờ (khoảng 16 won); mức phí có thể thay đổi theo khu vực và hợp đồng.