NVIDIA giới thiệu cách chuyển động tác người thành quỹ đạo khớp cho 5 robot hình người

NVIDIA (NVDA) giới thiệu quy trình dùng SOMA Retargeter để chuyển động tác của con người thành quỹ đạo khớp cho 5 robot hình người. Kết quả chuyển đổi là chuyển động tham chiếu dùng trong huấn luyện hoặc điều khiển robot, nhưng bản thân dữ liệu này không đảm bảo robot thật có thể thực hiện an toàn.

Trong bài viết trên blog kỹ thuật ngày 13, NVIDIA giải thích rằng chiều dài chi, cấu trúc khớp và phạm vi chuyển động của người và robot khác nhau, nên khó chuyển nguyên các giá trị khớp của con người sang robot. Công cụ nhận chuyển động của người theo một định dạng bộ xương chung rồi điều chỉnh cho phù hợp với hình thể và khớp của robot đích.

Đầu vào là tệp chuyển động BVH được biểu diễn theo bộ xương SOMA. Công cụ điều chỉnh quy mô chuyển động theo hình thể robot và áp dụng động học ngược (IK) để tính tư thế khớp ở từng khung hình. Sau đó, chuyển động được hiệu chỉnh dựa trên giới hạn khớp và những khoảng thời gian bàn chân tiếp xúc với mặt đất.

Chuyển động của con người có thể lấy từ ghi hình chuyển động, chuyển động được khôi phục từ video hoặc đầu ra của mô hình tạo sinh. Tuy nhiên, trước khi chuyển đổi, dữ liệu phải được đưa về định dạng bộ xương SOMA; không thể đưa trực tiếp video gốc hoặc tệp BVH có định dạng khác vào công cụ.

Tệp CSV đầu ra chứa vị trí, hướng và giá trị khớp của robot ở từng khung hình. Khi chuyển đổi nhiều động tác, người dùng có thể tạo một bộ chuyển động tham chiếu để huấn luyện từng robot. Quy trình biến chuyển động của con người thành động tác robot và xây dựng dữ liệu huấn luyện này cũng liên quan đến nghiên cứu về dữ liệu huấn luyện robot được giới thiệu trước đó.

Các robot trong ví dụ gồm Unitree G1 và H2, Booster T1, AgiBot X2 Ultra và A3T3. Chuyển động mẫu được cung cấp từ bộ dữ liệu BONES-SEED của Bones. Công cụ cấu hình robot dùng để ghép các bộ phận trong bộ xương người với khớp của robot.

Trọng số động học ngược giúp xác định bộ phận cơ thể nào được ưu tiên khi robot khó đáp ứng đồng thời mọi mục tiêu chuyển động. Các tính năng phát hiện tiếp xúc, hiệu chỉnh cố định bàn chân và tối ưu hóa trọng số được xếp vào nhóm thử nghiệm.

Trong ví dụ vẫy tay, cùng một chuyển động của người cho kết quả khác nhau tùy theo tư thế chuẩn của robot. Trước khi điều chỉnh tư thế chuẩn của Booster T1, hai tay robot dang sang hai bên; sau điều chỉnh, một tay vẫy cạnh đầu còn tay kia đặt bên thân. NVIDIA đề xuất điều chỉnh cấu hình bằng một động tác tiêu biểu rồi áp dụng cùng cấu hình đó cho nhiều động tác.

Lịch sử thay đổi của kho mã ghi nhận phiên bản v0.2.0 vào ngày 15 tháng 9 và v0.2.1 vào ngày 1 tháng 10, trong đó phiên bản sau sửa lỗi chỉnh sửa giới hạn khớp. Bài viết kỹ thuật ngày 13 không thông báo phiên bản mới mà trình bày cách áp dụng và sử dụng các tính năng đã có.

Trong tài liệu riêng, ROBOTIS hướng dẫn dùng bản fork của hãng khi áp dụng SOMA Retargeter cho AI Sapiens. Bản fork này có các đối tượng chuyển đổi và định dạng CSV dành cho AI Sapiens, nên cấu hình khác với 5 ví dụ trong kho mã cơ bản của NVIDIA.

Kết quả chuyển đổi là dữ liệu chuyển động theo động học. NVIDIA giới thiệu một trường hợp chuyển động của con người được chuyển đổi cho MicroDuck, sau đó bộ điều khiển được huấn luyện riêng cho từng chuyển động trong mô phỏng vật lý. Kho mã chính thức hướng dẫn kiểm tra độ an toàn, khả năng thực hiện và tính tương thích của bộ điều khiển trong mô phỏng trước khi áp dụng cho robot thật.