GLiDE dẫn đầu hiệu năng System One, xếp thứ 7 về độ tin cậy

Trong đánh giá SO-Arena, GLiDE đạt hiệu năng tổng thể cao nhất trong nhóm mô hình System One, nhưng chỉ xếp thứ 7 về độ tin cậy trong 18 mô hình. Hai mô hình chuẩn System Two có điểm hiệu năng tổng thể cao hơn.

Nhóm nghiên cứu cho biết trong bài báo nộp lên arXiv ngày 11 rằng họ đã so sánh 21 mô hình qua 2.919 nhiệm vụ thuộc 11 lĩnh vực. Tập mô hình trong bản nộp bài còn có hai mô hình chuẩn System Two và một mô hình tự quyết định có bật suy luận bổ sung hay không.

Mô hình System One đưa ra phán đoán dựa trên thông tin đầu vào và các lựa chọn được xác định trước, thay vì tạo câu trả lời dài. Kết quả được trả về dưới dạng có cấu trúc, chẳng hạn điểm số hoặc xác suất cho từng lựa chọn, để phần mềm có thể xử lý trực tiếp.

Các nhiệm vụ được tổng hợp từ 40 bộ dữ liệu, chuẩn đánh giá và môi trường công khai. Có 2.300 nhiệm vụ tĩnh yêu cầu đánh giá thông tin đầu vào cố định, cùng 619 nhiệm vụ tương tác với môi trường web hoặc công cụ, gồm 337 nhiệm vụ web và 282 nhiệm vụ sử dụng công cụ.

Đánh giá bao gồm 11 lĩnh vực: hiểu cảm xúc; phân loại ý định và định tuyến; toán học; hiểu mã nguồn; suy luận khoa học; kiến thức và hiểu biết thông thường; an toàn; tìm kiếm và xếp hạng lại; xác minh hoàn thành nhiệm vụ; sử dụng công cụ và API; tương tác web bằng văn bản. Nhóm nghiên cứu xếp các lĩnh vực này vào năm nhóm năng lực: hiểu ngữ nghĩa, kiến thức và suy luận, an toàn và tuân thủ chính sách, đánh giá bằng chứng, và hoàn thành nhiệm vụ của tác nhân AI.

Điểm năng lực tính theo trọng số ngang nhau giữa 11 lĩnh vực và tập trung vào các nhiệm vụ khó trong từng lĩnh vực. Tuy nhiên, cách phân loại độ khó khác nhau tùy lĩnh vực, nên không thể chỉ dựa vào điểm số để so sánh trực tiếp độ khó của nhiệm vụ giữa các lĩnh vực.

Điểm hiệu năng tổng thể trong bài báo là 82,3 đối với GPT-6 Sol và 79,7 đối với GPT-6 Luna. GLiDE đạt 70,2 điểm, cao nhất trong nhóm System One nhưng thấp hơn cả hai mô hình chuẩn System Two.

Trong phép đo tốc độ, các mô hình System One có trọng số mở phản hồi mỗi nhiệm vụ trong chưa đầy 0,3 giây khi chạy trên một GPU H100. Nhóm nghiên cứu cho biết tốc độ này nhanh hơn GPT-6 Sol và GPT-6 Luna hàng chục lần.

Để đánh giá độ tin cậy, nhóm nghiên cứu thay đổi thứ tự các lựa chọn của cùng một nhiệm vụ 12 lần rồi kiểm tra xem mô hình có giữ nguyên câu trả lời ban đầu hay không. Thử nghiệm này nhằm xem phán đoán của mô hình có thay đổi khi thứ tự lựa chọn bị xáo trộn hay không.

Nhóm nghiên cứu cũng đưa ra các nhiệm vụ đã loại bỏ đáp án đúng để kiểm tra xem mô hình có nhận ra rằng không có lựa chọn hợp lệ hay không. Điểm độ tin cậy kết hợp độ ổn định trước thay đổi thứ tự lựa chọn với khả năng phát hiện trường hợp không có đáp án đúng. Vì vậy, điểm này không đại diện cho toàn bộ độ chính xác hay mức ổn định khi triển khai thực tế.

JevAny-27B đứng đầu về độ tin cậy, nhưng xếp thứ 11 trong tổng số 21 mô hình về hiệu năng tổng thể. Kết quả cho thấy thứ hạng hiệu năng và độ tin cậy không trùng nhau.

Tác động của suy luận bổ sung cũng khác nhau tùy lĩnh vực. Trong nhiệm vụ toán học, StartLux Auto đạt 92,5 điểm khi luôn bật suy luận bổ sung và 50,8 điểm khi tắt tính năng này. Ở một số thử nghiệm so sánh quy mô, phiên bản nền của mô hình nhỏ và lớn cũng khác nhau, khiến nhóm nghiên cứu khó tách riêng tác động của kích thước mô hình.

Đánh giá còn có API Jev phiên bản 1.14 của TypeSafe AI. TokenPost từng giới thiệu Jev là mô hình trả về các lựa chọn và xác suất thay vì câu văn. Nghiên cứu lần này đánh giá loại mô hình này không chỉ ở nhiệm vụ phân loại và định tuyến mà còn ở các nhiệm vụ web và sử dụng công cụ.