1.271 điểm Elo, Claude Fable 5.2 đứng đầu AA-3D

Claude Fable 5.2 đứng đầu bảng đánh giá AA-3D với 1.271 điểm Elo, cao hơn Claude Sonnet 5.5 ở vị trí thứ hai 67 điểm.

Bảng xếp hạng AA-3D của Artificial Analysis, được kiểm tra ngày 10, ghi nhận Claude Fable 5.2 đạt 1.271 ±25 điểm với cấu hình “Max · dự phòng mặc định”. Cùng cấu hình, Claude Sonnet 5.5 đạt 1.204 ±28 điểm và Claude Opus 5.5 đạt 1.202 ±28 điểm. GPT-6 Astra ghi nhận 1.168 ±28 điểm, còn Gemini 4 Argon đạt 1.147 ±30 điểm.

AA-3D yêu cầu các mô hình AI biến mô tả bằng văn bản thành cảnh 3D có thể tương tác trên trang web. Phương pháp đánh giá gồm 55 nhiệm vụ thuộc 7 lĩnh vực, trong đó có hố đen quay, trò chơi pinball và Đấu trường La Mã.

Các mô hình tạo cảnh bằng three.js trong môi trường không có kết nối internet. Mỗi mô hình nhận cùng yêu cầu và công cụ, đồng thời chỉ có một lần thử cho mỗi nhiệm vụ. Công việc phải hoàn tất trong tối đa 3 giờ hoặc 250 bước chạy của tác nhân.

Sau khi hoàn thành, cảnh được kiểm tra khả năng hoạt động trước khi đưa ra hội đồng đánh giá. Sản phẩm không chạy được sẽ bị loại khỏi lượt bình chọn mức độ yêu thích.

Hội đồng so sánh hai cảnh được tạo cho cùng một nhiệm vụ mà không biết tên mô hình. Thành viên xem mỗi cảnh ít nhất 30 giây rồi bình chọn cảnh mình thích hơn. Artificial Analysis quy đổi các lượt bình chọn thành điểm Elo. Vì vậy, mức 1.271 phản ánh mức độ yêu thích tương đối của sản phẩm trong bài đánh giá này, không phải tỷ lệ trả lời đúng hay điểm trí tuệ tổng thể.

Ngày 9, Anthropic công bố Claude Fable 5.2 trong thông báo chính thức và cho biết mô hình hướng đến các công việc kỹ thuật phức tạp, kéo dài. Công ty nói tốc độ tạo đầu ra nhanh hơn tối đa 30% so với phiên bản trước. TokenPost từng đưa tin về việc ra mắt Claude Fable và Mythos 5.2 cùng đợt giảm phí API trong bài viết trước.

Theo tài liệu mô hình Fable 5.2 của Anthropic, mức phí cơ bản là 8 USD (10.888 won) cho mỗi 1 triệu token đầu vào và 40 USD (54.440 won) cho mỗi 1 triệu token đầu ra. Hai mức này thấp hơn 20% so với phí của Fable 5.1: 10 USD đầu vào và 50 USD đầu ra, theo tài liệu mô hình Fable 5.1.

Đơn giá token giảm 20% không đồng nghĩa chi phí thực tế cho mỗi nhiệm vụ cũng giảm tương ứng. Mức sử dụng thay đổi tùy nhiệm vụ và cấu hình mô hình; AA-3D cũng công bố riêng điểm Elo và chi phí trung bình cho mỗi nhiệm vụ. Kết quả đứng đầu lần này thể hiện mức độ yêu thích dành cho các cảnh được tạo trong cùng điều kiện đánh giá.