Nvidia huấn luyện MicroDuck với 4.096 mô phỏng song song

Nvidia (NVIDIA·$NVDA) công bố quy trình dùng các tác nhân AI tạo chướng ngại vật ảo cho MicroDuck, sau đó huấn luyện bổ sung và đánh giá chính sách đi bộ trên 4.096 môi trường mô phỏng. Đây là hoạt động huấn luyện và đánh giá trong môi trường ảo, không phải kết quả di chuyển của robot ngoài đời thực.

Ngày 23, Nvidia giới thiệu trên blog kỹ thuật các bước từ lập kế hoạch công việc, tạo tài sản 3D, lắp ráp đường chạy đến huấn luyện và đánh giá chính sách. Quy trình bổ sung khả năng xử lý đường dốc và chướng ngại vật cho chính sách đi bộ đã được huấn luyện trước đó.

Công việc bắt đầu bằng chỉ dẫn mô tả đường chạy MicroDuck cần vượt qua và các động tác cần học. Hermes và NVIDIA Nemotron 3.5 Bolt chạy trên RTX Spark chuyển chỉ dẫn thành kế hoạch từng bước, kiểm tra lộ trình cùng kích thước chướng ngại vật rồi lập danh sách tài sản cần tạo.

Astra tạo các vật thể dùng trong mô phỏng theo danh sách đó. Công cụ này chỉnh sửa ảnh tham chiếu, dựng hình khối cơ bản bằng FreeCAD rồi hoàn thiện hình dạng và vật liệu trong Blender. Tài sản hoàn chỉnh được xuất dưới dạng mô hình có thể chỉnh sửa và tệp USD; những mặt hoặc kích thước không thể xác định từ ảnh được ghi lại dưới dạng giả định mô hình hóa.

Các tài sản được tạo ra sau đó được lắp thành đường chạy chướng ngại vật trong Isaac Sim. Thư viện Omniverse phụ trách dựng hình trên màn hình và quan sát từ cảm biến, còn bộ mô phỏng vật lý Newton tính toán chuyển động và khả năng giữ thăng bằng của MicroDuck. Kết quả robot bị ngã hoặc va vào chướng ngại vật được dùng làm dữ liệu để điều chỉnh chính sách đi bộ.

Việc huấn luyện bổ sung diễn ra trong Isaac Lab. Chính sách được huấn luyện dựa trên dữ liệu chiều sâu từ camera trên đầu và thông tin trạng thái robot để xử lý đường dốc cong cùng địa hình gồ ghề. Nvidia cho biết một GPU RTX PRO 6000 Blackwell Workstation Edition đã chạy song song 4.096 môi trường mô phỏng.

Sau khi huấn luyện, chính sách được chuyển sang Isaac Sim trên RTX Spark để đánh giá trong môi trường ảo. Quy trình ghi lại việc MicroDuck phát hiện chướng ngại vật, điều chỉnh chuyển động và vượt qua đường chạy ra sao, cùng các thông tin về hoàn thành, ngã, va chạm hoặc điểm bị dừng tiến trình để dùng cho lần huấn luyện tiếp theo. Những dữ liệu này không thể hiện tỷ lệ thành công hay khả năng vượt chướng ngại vật của thiết bị thật.

MicroDuck là robot hai chân mã nguồn mở cao 25 cm, nặng khoảng 800 g, do Pollen Robotics và Hugging Face phát triển. Tài liệu chính thức cho biết robot được trang bị 15 động cơ, camera, lidar và hai thiết bị đo quán tính (IMU). Robot được thiết kế để thực hiện trên thiết bị thật các động tác như đi bộ đã học bằng phương pháp học tăng cường.

Tutorial hợp tác giữa Hugging Face và Nvidia, được công bố ngày 21, hướng dẫn huấn luyện chính sách đi bộ trong Isaac Lab, xuất chính sách dưới định dạng ONNX rồi áp dụng vào robot thật. 61 giá trị đầu vào và 14 giá trị đầu ra về vị trí khớp trong tài liệu là thông số giao diện mô hình, không phải số liệu hiệu suất của thử nghiệm đường chạy chướng ngại vật lần này.

Nvidia cho biết có thể mô hình hóa ma sát, độ trễ lệnh và độ rơ cơ khí để thu hẹp khác biệt giữa robot thật với mô phỏng. Phạm vi blog kỹ thuật đề cập là dựng đường chạy ảo, huấn luyện và đánh giá chính sách. Bài viết trước của TokenPost về nền tảng mô phỏng robot và công cụ phát triển của Nvidia cũng giới thiệu các tính năng liên quan trong nền tảng Isaac.