MKA giữ kín 200 nhiệm vụ, chấm 75% độ chính xác và 25% thiết kế

Chuẩn đánh giá MKA giữ kín 200 nhiệm vụ thuộc 10 lĩnh vực, trong đó độ chính xác thực tế chiếm 75% điểm và thiết kế trực quan chiếm 25%. Chuẩn này đánh giá các tác nhân AI có thể đọc tài liệu hình ảnh và tạo ra sản phẩm phục vụ công việc.

Google DeepMind cho biết trong thông báo chính thức ngày 10 rằng họ đã phát triển chuẩn Multimodal Knowledge Agent (MKA) cùng Artificial Analysis. Chuẩn đánh giá khả năng diễn giải nhiều loại tài liệu trực quan, như bản vẽ và video, rồi tạo ra sản phẩm chuyên môn.

Các nhiệm vụ mô phỏng công việc của 83 nhóm nghề thuộc 10 ngành. Mỗi nhiệm vụ gồm nhiều bước, tương tự công việc mà một người có kinh nghiệm có thể hoàn thành trong 3–8 giờ.

Trong một nhiệm vụ, tác nhân có thể phải đối chiếu bản vẽ kiến trúc với mặt cắt để tìm điểm không khớp rồi trình bày kết quả trong tài liệu thuyết trình. Đầu vào gồm các tệp có nhiều thông tin trực quan như sơ đồ mạch kỹ thuật và ảnh lâm sàng; đầu ra có thể là báo cáo, bảng tính hoặc bài thuyết trình.

MKA đánh giá cả quá trình đọc nhiều tệp và tạo sản phẩm hoàn chỉnh, thay vì chỉ trả lời câu hỏi hoặc tóm tắt văn bản. Bảng chấm cho mỗi nhiệm vụ có khoảng 70 tiêu chí, còn toàn bộ chuẩn đánh giá gồm 14.284 tiêu chí.

Điểm số kết hợp độ chính xác thực tế và thiết kế trực quan. Công cụ chấm tự động mở các tệp được nộp để kiểm tra những yếu tố như bố cục trang và công thức trong bảng tính.

Mức độ nhất quán 96,2% giữa công cụ chấm tự động và đánh giá của chuyên gia không phải là tỷ lệ trả lời đúng của mô hình. Theo báo cáo kỹ thuật của Google DeepMind, con số này xuất phát từ việc so sánh kết quả chấm tự động với đánh giá chuyên gia trên 50 nhiệm vụ, tập trung vào các tiêu chí có trọng số cao.

Artificial Analysis thực hiện đánh giá trong môi trường chạy mã nguồn mở Stirrup. Mỗi mô hình được phép sử dụng tối đa 250 lượt và 8 giờ cho một nhiệm vụ; mỗi nhiệm vụ chỉ được chạy một lần theo phương pháp đánh giá của Artificial Analysis.

Do mỗi nhiệm vụ chỉ được chạy một lần, đánh giá này chưa phản ánh mức độ dao động của kết quả nếu chạy lặp lại. Việc giữ kín các nhiệm vụ và giới hạn số lần chạy cũng khiến bên ngoài khó tái tạo đầy đủ thứ hạng.

Theo chỉ số Climb-WSR trong báo cáo kỹ thuật của Google DeepMind, Claude Fable 5.2 đạt 56,56%, còn Gemini 4 Carbon đạt 54,34%. Gemini 4 Carbon đứng thứ hai, nhưng báo cáo cho biết chênh lệch điểm giữa ba mô hình đứng đầu không có ý nghĩa thống kê.

Climb-WSR tính mức độ đáp ứng có trọng số theo từng nhiệm vụ, dựa trên các tiêu chí mà mô hình tương đối khó đạt. Vì vậy, điểm số không thể hiện tỷ lệ hoàn thành toàn bộ nhiệm vụ hay tỷ lệ thành công của mô hình trong mọi công việc.

Chi phí API ước tính cho mỗi nhiệm vụ của Gemini 4 Carbon thấp hơn 6,26 lần so với Claude Fable 5.2. Phép so sánh sử dụng mức giá tiêu chuẩn của các nhà cung cấp tại thời điểm viết báo cáo, chỉ tính chi phí gọi mô hình và không bao gồm chi phí chấm điểm.

Google DeepMind vừa đồng phát triển chuẩn đánh giá, vừa đưa mô hình của mình là Gemini 4 Carbon vào nhóm được đánh giá. Artificial Analysis cho biết họ tiến hành đánh giá độc lập.

Gemini 4 Carbon từng đạt 59 điểm và đứng đầu trong một chỉ số hiệu năng AI khác. Kết quả đó thuộc một đánh giá riêng; hai chỉ số có phương pháp và tiêu chí khác nhau nên không thể so sánh điểm số trực tiếp.

Để giảm nguy cơ đáp án bị lộ trong dữ liệu huấn luyện, 200 nhiệm vụ được giữ kín. Mười ví dụ minh họa định dạng nhiệm vụ đã được công bố.