AI đạt điểm đầu ra cao nhất 50,6% trong bài đánh giá kỹ thuật vật lý

Trong bài đánh giá các tác nhân AI thực hiện nhiệm vụ kỹ thuật vật lý, tổ hợp đạt điểm cao nhất có điểm đầu ra trung bình 50,6%. Đây là điểm trung bình chấm cho sản phẩm của từng nhiệm vụ, không phải tỷ lệ hoàn thành nhiệm vụ.

Nhóm nghiên cứu Google Cloud AI Research công bố trong tháng này bài báo “PLE: Physical-Engineering’s Last Exam”, đánh giá 14 mô hình AI và 7 bộ khung tác nhân. Tổ hợp Claude Opus 5.5 của Anthropic chạy với Claude Code đạt điểm cao nhất.

Tổ hợp này thực hiện 85 nhiệm vụ, mỗi nhiệm vụ ba lần. Mức sử dụng trung bình là 27 triệu token cho mỗi nhiệm vụ, với thời gian chạy 63 phút.

PLE không phải bài thi chọn đáp án đúng. Bài đánh giá xem tác nhân đọc tài liệu dự án và tạo sản phẩm đáp ứng các định luật vật lý cùng tiêu chuẩn thiết kế như thế nào.

Nhiệm vụ trải rộng ở các lĩnh vực xây dựng dân dụng, kết cấu, điện và cơ khí. Sản phẩm nộp gồm các bản tính toán, bản vẽ và kết quả rà soát thiết kế.

Môi trường mỗi nhiệm vụ có trung bình 61 tệp. Bài đánh giá cũng tính đến việc tổng hợp các điều kiện nằm rải rác trong nhiều tài liệu thành sản phẩm hoàn chỉnh.

Nhóm nghiên cứu chấm sản phẩm bằng công cụ kiểm tra tự động và bảng tiêu chí của chuyên gia. Điểm được chấm từ 0 đến 1 rồi quy đổi sang tỷ lệ phần trăm.

Trung vị điểm theo nhiệm vụ của tổ hợp dẫn đầu là 43,5%. Trong 85 nhiệm vụ, có 48 nhiệm vụ đạt dưới 50%; con số này không có nghĩa là tác nhân thất bại hoàn toàn ở tất cả các nhiệm vụ đó.

Điểm theo lĩnh vực có sự chênh lệch: kỹ thuật dân dụng đạt 69,9%, kỹ thuật kết cấu 46,6% và kỹ thuật cơ khí 40,5%. Bài đánh giá xem việc đáp ứng một điều kiện riêng lẻ khác với việc đồng thời đáp ứng nhiều ràng buộc và cân nhắc chi phí.

Bài báo tổng hợp 85 nhiệm vụ, gồm 29 nhiệm vụ phát triển công khai và 56 nhiệm vụ kiểm thử kín. Vì vậy, cần phân biệt điểm trên toàn bộ nhiệm vụ với điểm trong phần kiểm thử kín.

Trang chính thức của PLE hiển thị điểm 48,3% cho tổ hợp Claude Opus 5.5 và Claude Code. Con số này chỉ tính 56 nhiệm vụ kiểm thử kín, nên phạm vi đánh giá khác với điểm trên toàn bộ nhiệm vụ trong bài báo.

Khi so sánh điểm của các tác nhân AI, cần xem xét cả mô hình, bộ khung tác nhân, cách xây dựng nhiệm vụ và phương pháp chấm điểm. Cùng một mô hình có thể cho kết quả khác nhau tùy môi trường chạy và phạm vi bài kiểm tra.

Đánh giá này chỉ giới hạn ở kỹ thuật vật lý. Không có cơ sở từ kết quả này để suy rộng thành năng lực của tác nhân phân tích tài sản mã hóa hoặc phát triển hợp đồng thông minh.

Trước đó, TokenPost từng đề cập xu hướng cạnh tranh giữa các tác nhân AI chuyển trọng tâm từ hiệu năng mô hình sang hệ thống doanh nghiệp. Nghiên cứu lần này so sánh các tổ hợp mô hình và bộ khung qua sản phẩm kỹ thuật, thay vì công việc doanh nghiệp nói chung.