Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Đạt 41,2% ở Ember-0, GPT-6.2 Astra cao hơn gấp đôi GPT-6 Astra

Cánh tay robot đang trải áo thun trên bàn thao tác trong phòng thí nghiệm / TokenPost.ai (mono)

GPT-6.2 Astra của OpenAI đạt tỷ lệ thành công 41,2% trong bài đánh giá thao tác robot trong thế giới thực Ember-0, cao hơn gấp đôi mức 19,6% của GPT-6 Astra.

XDOF công bố kết quả Ember-0 ngày 20. Crypto Briefing đưa tin về công bố này, đồng thời giới thiệu số liệu so sánh với phiên bản trước và kết quả đánh giá riêng đối với cánh tay robot.

Ember-0 là benchmark robot trong thế giới thực do XDOF vận hành. Hai cánh tay robot được giao 16 nhiệm vụ như trải áo thun, thắt nút và tìm vật bị che khuất. Kết quả được tính bằng cách lấy trung bình tỷ lệ thành công của từng nhiệm vụ với trọng số ngang nhau.

Mô hình chuyển chỉ dẫn bằng ngôn ngữ tự nhiên thành kế hoạch hành động, sau đó lần lượt điều khiển chuyển động của hai cánh tay. Mỗi lần thử đều dẫn đến thao tác thực tế như nắm, di chuyển vật thể hoặc sử dụng công cụ.

Điểm đáng chú ý trong kết quả lần này là khả năng xử lý các vật thể biến dạng như áo thun và dây. Crypto Briefing mô tả GPT-6.2 Astra là mẫu đầu tiên đạt thành công trong nhóm nhiệm vụ này.

Khối hoặc cốc vẫn giữ hình dạng khi di chuyển, trong khi vải và dây thay đổi theo hướng kéo và vị trí tiếp xúc. Robot vì thế phải đọc lại khung cảnh và điều chỉnh động tác thay vì thực hiện nguyên kế hoạch ban đầu.

Độ trễ dự đoán trung bình giảm từ 15,0 giây ở GPT-6 Astra xuống 10,1 giây ở GPT-6.2 Astra. Khoảng thời gian ra quyết định ngắn hơn, nhưng 10,1 giây vẫn được xem là dài đối với hệ thống điều khiển cần phản hồi theo thời gian thực.

Trong một đánh giá điều khiển cánh tay robot trước đó, GPT-6.2 Astra đạt trung bình 79 điểm, hoàn thành 6 trong 8 nhiệm vụ và gửi 668 lệnh.

AA-Robotics v0.1 ghi nhận số lệnh gửi tới cánh tay robot cùng việc hoàn thành nhiệm vụ, còn Ember-0 đo tỷ lệ thành công trung bình của 16 nhiệm vụ có vật thể biến dạng và phối hợp hai tay. Do khác nhiệm vụ và cách tính, hai điểm số không thể cộng lại hoặc dùng để so sánh thứ hạng trực tiếp.

Tỷ lệ 41,2% của Ember-0 không có nghĩa mô hình đã hoàn thành cả 16 nhiệm vụ trong một lần thử. Đây là mức trung bình có trọng số ngang nhau giữa các tỷ lệ thành công theo từng nhiệm vụ, nên điểm cao ở một số nhiệm vụ có thể đi cùng điểm thấp ở nhiệm vụ khác.

XDOF lấy 30 lần lặp cho mỗi nhiệm vụ làm chuẩn và công bố cả khoảng tin cậy 95%. Cần xem đồng thời số lần lặp và khoảng tin cậy để phân biệt kết quả của một lần thực hiện với thành tích lặp lại ổn định qua nhiều lần thử.

Benchmark này không chỉ đánh giá khả năng lập kế hoạch và phán đoán hình ảnh. Nó còn đo độ chính xác khi tiếp xúc, thao tác công cụ, phối hợp hai cánh tay và xử lý vật thể biến dạng, qua đó kiểm tra cách mô hình ngôn ngữ chuyển chỉ dẫn thành hành động thực tế.

XDOF cho biết trong đánh giá ban đầu, mô hình ngôn ngữ đã thể hiện khả năng chuyển chỉ dẫn thành kế hoạch nhưng gặp khó ở tiếp xúc chính xác và thao tác vật thể biến dạng. Thành công trong nhóm nhiệm vụ này cho thấy thay đổi ở lĩnh vực từng được đánh giá là khó.

Bảng kết quả Ember-0 cũng liệt kê thời gian thực thi, chi phí và độ trễ dự đoán bên cạnh tỷ lệ thành công. Các bài đánh giá chuẩn hóa như vậy giúp đối chiếu tuyên bố về mô hình lớn với dữ liệu hành động thực tế trong xu hướng sử dụng mô hình ngôn ngữ làm bộ điều khiển robot.

Dòng GPT-6.x của OpenAI đã được đưa vào các thử nghiệm kiểm tra khả năng biến chỉ dẫn thành hành động vật lý bằng dữ liệu ngôn ngữ và hình ảnh. Ember-0 và AA-Robotics v0.1 tạo cùng một khung nhiệm vụ để so sánh chênh lệch hiệu suất khi phiên bản mô hình thay đổi.

Trong lần đánh giá này, GPT-6.2 Astra ghi nhận tỷ lệ thành công cao hơn, độ trễ ngắn hơn và có trường hợp xử lý được vật thể biến dạng so với phiên bản trước. Tỷ lệ 41,2% và độ trễ 10,1 giây cần được xem cùng thời gian thực thi và chi phí khi đánh giá khả năng ứng dụng robot.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1