Anthropic Fable 5.2 đạt tỷ lệ vượt chuẩn 41,25%; 58,75% nhiệm vụ không đạt

Fable 5.2 của Anthropic đứng đầu trong đánh giá công việc tự do từ xa với tỷ lệ vượt chuẩn 41,25%. Tuy nhiên, 58,75% nhiệm vụ không đạt tiêu chí đánh giá, nghĩa là ngay cả mô hình dẫn đầu cũng chưa đáp ứng yêu cầu chấp nhận của khách hàng trong hơn một nửa số dự án.

Bảng xếp hạng Remote Labor Index (RLI) do Scale AI công bố ghi nhận Fable 5.2 đạt 41,25% và Opus 5.5 đứng thứ hai với 21,25%, theo số liệu được kiểm tra ngày 13. Khoảng cách giữa hai mô hình là 20 điểm phần trăm.

Trong tài liệu ra mắt mô hình ngày 9, Anthropic công bố điểm RLI của Fable 5.2 là 41,3%. Công ty cho biết kết quả này được ghi nhận khi dùng thiết lập mức độ suy luận cao “High effort” cùng các biện pháp bảo vệ an toàn. Chênh lệch với điểm trên bảng xếp hạng xuất phát từ cách làm tròn số thập phân.

RLI đánh giá liệu mô hình có hoàn thành trọn vẹn dự án được giao hay không, thay vì chỉ xem xét câu trả lời cho một câu hỏi riêng lẻ. Tiêu chí tập trung vào chất lượng sản phẩm cuối cùng được nộp, chứ không chỉ một phần công việc.

Scale AI cho biết trong tài liệu nghiên cứu RLI rằng bộ dữ liệu đánh giá gồm 240 công việc tự do. Các công việc thuộc 23 lĩnh vực trong số 64 danh mục của Upwork.

Mỗi dự án bao gồm yêu cầu của khách hàng, các tệp đầu vào cần thiết và sản phẩm hoàn chỉnh do chuyên gia tạo ra. Kết quả do AI tạo từ cùng bộ tài liệu được đối chiếu với sản phẩm của chuyên gia.

Tiêu chí chấm điểm là liệu một khách hàng hợp lý có chấp nhận sản phẩm đó như kết quả của công việc đã đặt hay không. Ba người đánh giá được đào tạo đưa ra nhận định riêng, sau đó quyết định đạt hay không đạt dựa trên đa số.

Việc một số chức năng hoạt động hoặc bản nháp có thể tham khảo không đủ để nhiệm vụ được tính là đạt. Nếu sản phẩm cuối cùng không đáp ứng tiêu chuẩn, công việc vẫn không được tính là đạt dù mô hình đã hoàn thành một phần.

Vì vậy, không nên hiểu tỷ lệ 41,25% là AI có thể thay thế 41,25% tổng số việc làm tự do. Đây là tỷ lệ vượt tiêu chí đánh giá trong một mẫu dự án được xác định trước.

Trong tổng số 240 dự án, RLI sử dụng 230 dự án không công khai để chấm điểm định lượng chính thức; 10 dự án còn lại được công khai để phục vụ phân tích định tính. Bảng xếp hạng không nêu riêng số dự án thực tế mà Fable 5.2 vượt qua.

Phạm vi đánh giá cũng có giới hạn. Mẫu thử loại trừ những công việc đòi hỏi trao đổi trực tiếp với khách hàng, lao động thể chất hoặc theo dõi kết quả trong thời gian dài.

Chỉ số này cũng khó cho biết mức hỗ trợ của con người cần thiết trong thực tế hoặc chi phí triển khai. Bảng xếp hạng phản ánh chất lượng sản phẩm đầu ra trong các điều kiện đã định, nhưng không trả lời được công việc của con người có thể được giao cho AI trong lĩnh vực nào và với chi phí bao nhiêu.

Trong thảo luận trên Hacker News về việc ra mắt mô hình, người dùng đưa ra cả kỳ vọng lẫn quan điểm thận trọng. Một người cho rằng Fable 5.2, với tỷ lệ cao hơn mức khoảng 20% của một số mô hình khác, có thể mở ra những công việc mới cho các tác nhân AI.

Những người dùng khác cho rằng cần xem xét đồng thời hiệu năng cảm nhận được trong công việc cá nhân, điều kiện so sánh giữa các mô hình và chi phí. Đây là ý kiến của người dùng, không phải kết quả kiểm chứng hiệu năng độc lập.

Điểm đánh giá AI cần được xem xét cùng với cách xây dựng nhiệm vụ và tiêu chí chấm điểm.

Bảng xếp hạng công khai đưa ra tỷ lệ đạt của từng mô hình, nhưng không trình bày nguyên nhân cụ thể khiến Fable 5.2 thất bại ở từng dự án.