Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Sol đạt 85.2 điểm, 7 mô hình OpenAI xếp hạng 1-7 trên Alignment Index

Bảy thẻ mô hình được xếp trước bảng đánh giá Alignment / TokenPost.ai

Bảy mô hình trí tuệ nhân tạo của OpenAI chiếm trọn 7 vị trí đầu trong bảng xếp hạng mới nhất của Arena Alignment Index. GPT-6.2 Sol đạt 85.2 điểm, cao hơn 0.6 điểm so với GPT-6 Astra đứng thứ hai.

Arena.ai công bố bảng xếp hạng chính thức ngày 19 tháng 11, trong đó lần lượt có GPT-6.2 Sol, GPT-6 Astra, GPT-6.1 Terra, GPT-6.1 Sol, GPT-6.2 Astra, GPT-6 Sol và GPT-6 Luna. Đây là số liệu tạm thời, được tổng hợp từ 67 mô hình và 195,836 phiên tác vụ thực tế của các tác nhân AI.

GPT-6 Astra là mô hình được OpenAI công bố vào tháng 9. TokenPost trước đó đã đưa tin về hoạt động đặt cược trên thị trường liên quan đến thời điểm ra mắt GPT-6 Astra.

◇ Xếp hạng sau khi thay đổi phương pháp

Kết quả lần này xuất hiện ngay sau khi phương pháp đánh giá được thay đổi. Trong thông báo thay đổi phương pháp ngày 17 tháng 11, Arena.ai cho biết đã mở rộng phạm vi để xem xét các phiên mẫu từ đầu đến cuối, đồng thời phân tích cả lệnh gọi công cụ và kết quả.

Những hành vi tự ý mà người dùng không chỉ ra vấn đề, hoặc việc tuyên bố đã hoàn tất dù chưa kết thúc công việc, cũng được đưa vào đánh giá. Phương pháp này xem xét không chỉ câu trả lời cuối cùng có đúng hay không mà còn việc mô hình có tuân thủ ý định người dùng trong quá trình thực hiện hay không.

Cùng một phiên được các mô hình ngôn ngữ lớn (LLM) làm giám khảo từ nhiều phòng nghiên cứu đánh giá độc lập. Phiên chỉ được đánh dấu là thất bại khi đa số giám khảo đồng thuận, nhằm giảm ảnh hưởng của phán đoán từ một giám khảo lên tổng điểm.

◇ Alignment Index đo lường điều gì

Alignment Index đo lường việc mô hình hành động phù hợp với ý định và mục tiêu của người dùng. Mục tiêu đánh giá này khác với các bảng hiệu năng chung, vốn thường cộng gộp tỷ lệ trả lời đúng hoặc mức độ được ưa thích trong hội thoại.

Có ba tín hiệu đánh giá: △Hành vi không được ủy quyền là hành động nằm ngoài yêu cầu hoặc quyền hạn. △Gán sai nguồn là quy phát biểu, yêu cầu, phê duyệt hoặc sự thật cho người dùng trái với căn cứ. △Hoàn tất mang tính đánh lừa là tuyên bố đã hoàn thành công việc dù thực tế chưa làm xong.

Bảng chi tiết chính thức phân loại theo từng mô hình các dạng thất bại như tự ý sắp xếp, tạo đầu ra không được yêu cầu, thực thi vội vàng và mở rộng phạm vi. Chỉ số này đánh giá không chỉ mô hình trả lời gì mà còn cách mô hình hành động trong phạm vi người dùng cho phép.

Ngày 8 tháng 10, chỉ số này lần đầu được công bố dựa trên 27 mô hình và 90,000 phiên tác vụ thực tế của các tác nhân AI. Trong công bố ban đầu, Arena.ai mô tả việc xóa tệp không được phép trong lúc thực hiện công việc hoặc tuyên bố đã hoàn tất một nhiệm vụ chưa được xác nhận là thất bại về alignment.

Mô hình đầu tiên không thuộc OpenAI là Claude Fable 5.2 của Anthropic, đứng thứ 8. Trong nhóm mô hình có trọng số mở, Kimi K3.1 Pro đứng cao nhất ở vị trí thứ 9 với 78.2 điểm.

Mô hình có trọng số mở là mô hình công khai các tham số nền tảng (underlying parameters), cho phép người dùng chạy trên thiết bị của mình. Khác với mô hình đóng chỉ được sử dụng thông qua máy chủ doanh nghiệp, người dùng có thể tải trọng số mô hình xuống và tự vận hành.

Điểm 78.2 của Kimi K3.1 Pro thấp hơn 7 điểm so với GPT-6.2 Sol. Trong khi khoảng cách giữa vị trí thứ nhất và thứ hai chỉ là 0.6 điểm, kết quả cho thấy vẫn có chênh lệch giữa các mô hình trong nhóm đầu.

Việc các mô hình OpenAI chiếm vị trí từ 1 đến 7 là kết quả của chỉ số đo thất bại về alignment. Arena.ai vận hành Alignment Index tách biệt với chỉ số đánh giá năng lực thực hiện tác vụ tổng thể của các tác nhân.

Alignment Index hiện được công khai dưới dạng bảng xếp hạng tạm thời. Vì vậy, kết quả lần này nên được hiểu là thứ hạng trong bài đánh giá mức độ tuân thủ ý định người dùng và độ tin cậy khi báo cáo công việc.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1