Độ dài tác vụ mà các mô hình AI có xác suất hoàn thành 50% được ước tính tăng gấp đôi khoảng 3,61 tháng một lần trong các bài đánh giá. Một số mô hình chưa đạt mức kết quả mà chuyên gia được ước tính có thể đạt trong những tác vụ phán đoán khó kiểm tra đáp án ngay lập tức.
Tổ chức phi lợi nhuận đánh giá AI METR công bố báo cáo cập nhật năng lực ngày 20, đánh giá các mô hình công khai, trong đó có Claude Opus 5.5 và GPT-6 Astra. METR bổ sung các tác vụ nghiên cứu mới đòi hỏi phán đoán, suy luận khái niệm và xác minh khó khăn để xem liệu kết quả tốt ở những tác vụ có đáp án rõ ràng có được duy trì ở các dạng công việc khác hay không.
Mốc 50% time horizon không biểu thị thời gian AI thực sự làm việc. Đây là mốc độ dài tác vụ, dựa trên thời gian con người cần để hoàn thành tác vụ đó, tại đó xác suất mô hình hoàn thành được ước tính là 50%.
Các nhóm tác vụ chủ yếu gồm kỹ thuật phần mềm, học máy và an ninh mạng. Bộ tác vụ TH2 mới chia thành 8 nhóm có thể tự động xác định thành bại tương đối dễ dàng và 4 nhóm cần nhiều thời gian hơn cho phán đoán, suy luận khái niệm và xác minh.
METR kết hợp 222 tác vụ TH1.1 hiện có với 36 tác vụ TH2 mới để tính tốc độ tăng của time horizon. Chu kỳ tăng gấp đôi được ước tính là 3,61 tháng, với khoảng tin cậy 95% từ 2,08 đến 4,94 tháng.
Kết quả này gần với chu kỳ 105 ngày trong đánh giá TH1.1 trước đó. Tuy nhiên, đây là xu hướng tính từ các nhóm tác vụ có trong bài đánh giá, không có nghĩa thời lượng công việc AI có thể xử lý đang tăng cùng tốc độ trong mọi ngành nghề.
METR đánh giá riêng MirrorCode, nhóm gồm 75 tác vụ tái tạo phần mềm, thay vì gộp nhóm này vào phép tính time horizon. Báo cáo phân biệt MirrorCode với phân tích kết hợp TH1.1 và TH2.
Chỉ xét các tác vụ TH2 có thể tự động xác định thành bại, chu kỳ tăng gấp đôi rút xuống còn 1,65 tháng. METR cho biết kết quả này có độ biến động dữ liệu lớn.
Một chỉ số khác tổng hợp năng lực của các mô hình công khai không cho thấy tốc độ cải thiện tổng thể tăng rõ rệt. Vì vậy, không thể suy rộng chu kỳ ngắn hơn ở các tác vụ dễ tự động kiểm chứng thành tốc độ tăng tốc trên toàn bộ mô hình công khai.
Năng lực phán đoán là khả năng đưa ra quyết định tốt trong những tình huống khó kiểm tra ngay chất lượng kết quả hoặc phải chờ một thời gian mới thấy được tác động của lựa chọn. Với dạng tác vụ này, việc có dễ chấm điểm tự động hay không và tiêu chí đánh giá có phù hợp hay không đều quan trọng.
Khi METR yêu cầu mô hình tạo tác vụ đánh giá mới có ích cho nghiên cứu, không tác vụ nào trong số được gửi đáp ứng tiêu chuẩn để đưa vào báo cáo. Các mô hình chủ yếu tạo bài toán tối ưu hóa có thể tự động kiểm tra thành bại tương đối dễ dàng.
Trong tác vụ đánh giá chất lượng phản biện các lập luận triết học, mức độ nhất quán của tất cả mô hình công khai đều thấp hơn kết quả ước tính của chuyên gia dành 15 phút cho tác vụ. Tuy nhiên, một số mô hình vượt mức ước tính của chuyên gia dành 5 phút.
METR giải thích rằng kết quả này không có nghĩa con người vượt trội trong mọi công việc cần phán đoán. Mô hình đã vượt người đánh giá trong một số tác vụ tối ưu hóa học máy, và cũng có khả năng bài đánh giá chưa khai thác hết năng lực của mô hình ở các tác vụ phán đoán.
Trong các tác vụ mới, kết quả thực hiện trực tiếp chỉ được dùng để ước tính thời gian cần thiết cho con người ở 9% trường hợp. Phần còn lại dựa trên hồ sơ công khai, ước tính của chuyên gia và phép ngoại suy.
METR cho biết bài kiểm tra dễ chấm tự động có thể đánh giá quá cao năng lực thực tế của mô hình. Tổ chức này cũng lưu ý số lượng tác vụ phán đoán còn hạn chế và chưa rõ năng lực tạo ra các tác vụ đánh giá tốt cần thiết đến mức nào để đẩy nhanh nghiên cứu và phát triển AI.
Đánh giá mô hình công khai lần này khác với đánh giá về Anthropic mà METR công bố ngày 5. Đánh giá trước dựa trên tài liệu nội bộ của Anthropic và phỏng vấn các nhà nghiên cứu, đưa ra khả năng tốc độ cải thiện năng lực mô hình ở những tác vụ được xác định rõ đã nhanh gấp khoảng hai lần so với trước, tính đến tháng 10 năm 2026. METR ước tính khoảng này ở mức 1,3 đến 3 lần; tốc độ tăng điểm benchmark là 1,9 lần, với khoảng tin cậy 95% từ 1,5 đến 2,8 lần.
TokenPost từng đưa tin rằng METR cho biết phần lớn căn cứ chính của đánh giá trước đã được giữ kín. Báo cáo ngày 20 không xác nhận mức tăng tốc tương tự trên diện rộng ở các mô hình công khai.
Comment 0