HALO đạt tỷ lệ thành công 91% ở tác vụ đơn, 70% ở chuỗi tác vụ

HALO, hệ thống điều khiển tự hành cho robot hình người do nhóm nghiên cứu Apple (AAPL) phát triển, đạt tỷ lệ thành công trung bình 91% khi thực hiện 360 lượt tác vụ đơn tại 6 không gian trong nhà chưa được lập bản đồ trước. Với các chuỗi gồm ba động tác, tỷ lệ thành công trung bình là 70%.

Nhóm nghiên cứu công bố cấu hình và kết quả thử nghiệm của HALO trong một bài báo được đăng trước trên arXiv ngày 4. Thử nghiệm thực tế sử dụng robot Unitree G1 được bổ sung camera và thiết bị tính toán. Các không gian thử nghiệm không được dùng để huấn luyện, cũng chưa được quét hay lập bản đồ trước đó.

Nghiên cứu xuất phát từ tình trạng thiếu dữ liệu huấn luyện. Để kết nối chỉ dẫn bằng lời nói và hình ảnh từ camera với chuyển động toàn thân, cần dữ liệu ghép cặp cả ba yếu tố. Tuy nhiên, việc để con người điều khiển trực tiếp robot hoặc quay lại chuyển động tốn nhiều thời gian và công sức. Nhóm nghiên cứu đã tạo 300 giờ dữ liệu huấn luyện ghép cặp hình ảnh, ngôn ngữ và chuyển động từ 1.000 không gian trong nhà ảo.

Để giảm khác biệt về hình ảnh giữa không gian thực và ảo, nhóm nghiên cứu thay đổi nhiệt độ màu ánh sáng, độ phơi sáng và độ tương phản, đồng thời thêm hiệu ứng nhòe hình và nhiễu cảm biến. Họ cũng mô phỏng trong môi trường ảo góc nhìn tương tự camera trên robot để phục vụ huấn luyện.

HALO gồm ba phần: phân tách yêu cầu bằng ngôn ngữ tự nhiên thành các tác vụ nhỏ; quan sát hình ảnh từ camera để lập kế hoạch chuyển động toàn thân trong 5 giây tiếp theo; và điều khiển chuyển động dựa trên hình ảnh độ sâu cùng trạng thái khớp. Hệ thống chọn tác vụ khoảng 2 giây một lần. Bộ tạo chuyển động lập kế hoạch mới khoảng 3 lần mỗi giây, còn bộ điều khiển cập nhật lệnh cho các khớp 50 lần mỗi giây. Toàn bộ hệ thống chạy trên thiết bị tính toán gắn trên robot.

Các tác vụ đơn gồm △di chuyển đến vật thể được chỉ định △ngồi lên ghế △đi qua cửa mở hé △cúi người đi dưới chướng ngại vật thấp △bò △đẩy hộp. Mỗi tác vụ được thử 10 lần tại mỗi không gian trong 6 môi trường thực. Tỷ lệ thành công của tác vụ cúi người đi qua là 100%, còn tác vụ đẩy hộp đạt 88%.

Các chuỗi tác vụ được thử tại một môi trường thực, mỗi chuỗi gồm ba động tác và được lặp lại 10 lần. Chuỗi đi qua cửa rồi di chuyển đến vật thể thành công cả 10 lần. Chuỗi cúi người rồi ngồi đạt tỷ lệ thành công 60%; chuỗi cúi người, di chuyển đến mục tiêu rồi đẩy hộp đạt 50%. Trong 5 lần thất bại của chuỗi cuối, có 3 lần robot quay đầu về phía đối diện với hộp sau khi cúi xuống, khiến hộp nằm ngoài tầm nhìn.

Nhóm nghiên cứu sử dụng 250 GPU H100 trong khoảng 48 giờ để tạo dữ liệu. Quá trình huấn luyện bộ tạo chuyển động dùng 64 GPU B200, còn bộ theo dõi chuyển động dùng 4 GPU H100.

Quá trình tạo dữ liệu đã được tự động hóa, nhưng khi bổ sung chuyển động mới, con người vẫn phải thiết kế chỉ dẫn và các tư thế then chốt. Việc huấn luyện bộ theo dõi chuyển động cũng sử dụng video chuyển động của con người và dữ liệu ghi hình chuyển động. Nhóm nghiên cứu cho biết robot khó xác định trạng thái tiếp xúc khi vật thể khuất hoặc biến mất khỏi tầm nhìn camera, đồng thời đề xuất bổ sung cảm biến xúc giác để cải thiện hệ thống.