Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Astra đạt 1.291 điểm, đứng thứ 6 trên Agent Arena Index

GPT-6.2 Astra của OpenAI đạt 1.291 điểm, xếp thứ 6 trên Agent Arena Index của Arena (Arena.ai), cao hơn 9 điểm so với GPT-6 Astra.

Arena công bố chỉ số mới ngày 18. Theo bảng xếp hạng chính thức, Claude Fable 5.2 đứng đầu, tiếp theo là Claude Opus 5.5. Gemini 4 Neon và Gemini 4 Carbon của Google DeepMind lần lượt xếp thứ 3 và thứ 4.

Trang thông tin chi tiết của GPT-6.2 Astra hiển thị điểm số trong phạm vi ±35 điểm và phân bố thứ hạng từ vị trí thứ 2 đến thứ 11.

Arena cho biết chỉ số này tổng hợp dữ liệu từ hơn 2,9 triệu phiên sử dụng thực tế. Bảng xếp hạng có 68 mô hình.

Chỉ số kết hợp bốn tín hiệu: △mức độ hoàn thành nhiệm vụ △lời khen và phàn nàn của người dùng △khả năng xử lý chỉ dẫn chỉnh sửa △độ ổn định khi thực hiện tác vụ Bash, tức các lệnh trong giao diện dòng lệnh. Cách đánh giá này xem xét liệu mô hình có hoàn thành việc người dùng giao hay không, cùng phản hồi của họ.

Chỉ số hoàn thành nhiệm vụ đánh giá mô hình có làm xong công việc được giao hay không. Chỉ số phản hồi người dùng so sánh phản ứng tích cực và tiêu cực đối với mô hình.

Khả năng xử lý chỉ dẫn chỉnh sửa đo mức độ mô hình làm theo khi người dùng thay đổi hướng dẫn. Độ ổn định Bash đo tần suất các lệnh mô hình chạy trong giao diện dòng lệnh thành công.

Arena chuẩn hóa bốn tín hiệu, sau đó tính điểm trung bình có trọng số, trong đó các phiên gần đây được ưu tiên hơn. Vì vậy, tổng điểm tăng 9 điểm không đồng nghĩa kết quả đã cải thiện ở mọi loại tác vụ.

Khi ra mắt chỉ số mới, Arena thay đổi thang tính điểm nhưng cho biết thứ hạng mô hình không đổi so với phương pháp trước. Arena đổi tên tín hiệu “thành công đã xác nhận” thành “hoàn thành nhiệm vụ” và loại tín hiệu ảo giác công cụ khỏi chỉ số.

Kết quả theo từng lĩnh vực khác với thứ hạng tổng hợp. GPT-6.2 Astra đứng thứ 3 trong chỉ số lập trình và thứ 11 trong chỉ số hội thoại. GPT-6 Astra trước đó đứng thứ 8 ở cả hai chỉ số.

Các chỉ số phụ công bố ngày 18 ghi nhận 1.031.799 phiên lập trình và 993.807 phiên hội thoại. Mỗi chỉ số chỉ so sánh mô hình trong lĩnh vực tác vụ tương ứng.

Trong thông báo ra mắt mô hình, OpenAI giới thiệu Astra là mô hình dành cho các công việc chuyên môn và khoa học phức tạp, còn GPT-6.2 Sol hướng đến công việc thường ngày. Công ty cho biết Astra đạt điểm cao nhất mới trong hai bài đánh giá nội bộ là “Agents’ Last Exam” và “Terminal-Bench-Science 0.1”.

Giá token đầu vào và đầu ra API thấp hơn 20% so với mô hình trước, còn đầu vào bộ nhớ đệm được giảm giá 60%. Đầu vào bộ nhớ đệm là nội dung như chỉ dẫn đã được xử lý trước đó và được sử dụng lại.

Kết quả này là chỉ số tổng hợp giữa tác vụ ở nhiều lĩnh vực và phản hồi của người dùng. Trước đó, TokenPost đưa tin Astra đứng đầu một bài đánh giá tạo cảnh 3D với 1.318 Elo; bài đánh giá đó so sánh các sản phẩm 3D riêng biệt.

TokenPost cũng từng đưa tin về thứ hạng mô hình OpenAI trên chỉ số căn chỉnh của Arena.ai. Chỉ số căn chỉnh đo lường hành vi trái phép, ghi nguồn sai và việc tuyên bố hoàn thành một cách đánh lừa; Agent Arena Index đánh giá các tiêu chí khác như mức độ hoàn thành nhiệm vụ và phản hồi của người dùng.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1