Tổ chức đánh giá AI phi lợi nhuận METR cho biết các mô hình Anthropic có thể đã cải thiện năng lực thực hiện tác vụ nhanh hơn khoảng gấp đôi so với trước đây, tính đến tháng 10 năm 2026. Đánh giá tập trung vào những tác vụ có tiêu chí rõ ràng để xác định kết quả thành công hay thất bại.
METR công bố báo cáo đánh giá độc lập ngày 5 tháng 11. Quá trình đánh giá bắt đầu ngày 12 tháng 8 và xem xét tài liệu nội bộ của Anthropic đến ngày 29 tháng 10.
Giai đoạn dùng làm mốc so sánh bắt đầu từ tháng 3 năm 2024, còn khoảng thời gian đo lường kéo dài đến tháng 10 năm 2025.
METR nhận định mức tăng tốc thực tế có thể chỉ là 1,3 lần tốc độ trước đây hoặc gần 3 lần. Tổ chức này cho biết chưa rõ liệu mức tăng tương tự có áp dụng cho những công việc rộng hơn, vốn không có tiêu chí thành công rõ ràng, hay không.
Trong một chỉ số riêng mang tên AECI, tốc độ tăng điểm chuẩn của các mô hình Anthropic được ước tính cao hơn 1,9 lần kể từ tháng 10 năm 2025. Khoảng tin cậy 95% là 1,5–2,8 lần.
AECI là chỉ số năng lực do Anthropic xây dựng dựa trên Epoch Capabilities Index. METR cho biết mức tiến bộ trên các bài đánh giá tương đương khoảng hai năm trước đó đã đạt được trong vòng một năm. Phép tính cũng bao gồm kết quả đánh giá của một mô hình mới nhất chưa được công bố, nhưng METR cho biết tổ chức này không yêu cầu quyền truy vấn mô hình đó.
Con số khoảng gấp đôi là đánh giá tổng hợp về tốc độ cải thiện năng lực trong một nhóm tác vụ giới hạn, còn mức 1,9 lần là tốc độ tăng điểm chuẩn AECI. Bài viết trước của TokenPost về công bố tiêu chí tăng tốc của Anthropic và phân tích điểm chuẩn của METR cũng đã đề cập con số 1,9 lần.
METR ước tính hơn một nửa, có thể khoảng 80%, mức tăng tốc tính đến tháng 10 năm 2026 có thể bắt nguồn từ hoạt động nghiên cứu và phát triển (R&D) có sử dụng AI. Tuy nhiên, tổ chức này cho biết chưa tìm thấy bằng chứng quyết định để xác nhận điều đó.
METR thừa nhận các yếu tố ngoài AI có thể cũng đóng vai trò đáng kể trong đợt tăng tốc vào cuối năm 2025. Tổ chức này cho biết việc đẩy nhanh R&D chủ yếu dựa vào AI hỗ trợ các nhà nghiên cứu, thay vì AI tự thực hiện công việc hoàn toàn độc lập.
METR cho biết phần lớn bằng chứng đặc biệt hữu ích để đưa ra kết luận đã bị lược khỏi báo cáo do Anthropic không công bố. Anthropic có quyền yêu cầu lược bỏ thông tin mật.
Các nội dung không được công bố gồm chỉ số năng lực trung gian, ước tính tiến bộ thuật toán, dữ liệu về nguồn lực R&D, phân tích nút thắt và dự báo. METR cho biết điều này khiến độc giả khó tự kiểm tra căn cứ cho nhận định về nguyên nhân.
Trong báo cáo rủi ro tháng 8, Anthropic đánh giá rủi ro liên quan đến tự động hóa R&D ở mức “thấp”, với thời điểm đánh giá là ngày 15 tháng 7.
METR đồng tình rằng rủi ro thảm họa tại thời điểm đó ở mức thấp, nhưng cho rằng có khả năng ngưỡng cảnh báo sớm đã bị vượt qua. METR và phần lớn các nhà nghiên cứu của Anthropic nghiêng về nhận định ngưỡng này chưa bị vượt qua. METR phân tích khác biệt đó trong bài đánh giá riêng.
Ngưỡng cảnh báo sớm nhằm theo dõi dấu hiệu rủi ro từ việc tăng tốc R&D bằng AI, không phải kết luận rằng thiệt hại thảm khốc đã xảy ra. Đánh giá của METR xem xét tốc độ cải thiện quan sát được ở một nhóm tác vụ giới hạn và rủi ro tăng tốc, nhưng không đưa ra thời điểm AI đạt siêu trí tuệ.
Comment 0