Hơn 1 triệu giờ video góc nhìn thứ nhất được dùng để huấn luyện robot

Hơn 1 triệu giờ video góc nhìn thứ nhất của con người đang được dùng để huấn luyện robot. Dyna Robotics cho biết hãng đã tiền huấn luyện Dyna-2 bằng video người thật; trong thử nghiệm mở rộng quy mô dữ liệu, điểm hiệu suất chuẩn hóa trung bình trên 14 nhiệm vụ tăng từ 20% lên 53%.

Nghiên cứu được Dyna Robotics công bố vào tháng 8 năm 2026 gồm video về các công việc thường ngày như nấu ăn, dọn dẹp, gấp đồ và lắp ráp. Một số video ghi lại tư thế bàn tay để trích xuất quỹ đạo cổ tay và thông tin về thao tác cầm nắm. Nhóm nghiên cứu so sánh kết quả khi quy mô dữ liệu tiền huấn luyện thay đổi từ 1.000 giờ đến 1 triệu giờ.

Mức 53% không phải tỷ lệ hoàn thành nhiệm vụ. Đây là điểm hiệu suất chuẩn hóa trung bình so với “mức hiệu suất tối đa có thể đạt được” do công ty xác định cho từng nhiệm vụ. Con số này cũng không có nghĩa mọi robot đều đạt hiệu suất tương tự trong mọi môi trường làm việc; kết quả đến từ thử nghiệm nội bộ của công ty.

Dyna Robotics giải thích trong nghiên cứu rằng video người thật ghi lại quá trình bàn tay tiếp xúc với vật thể và các cảnh làm việc thay đổi, qua đó có thể hỗ trợ việc học thao tác với vật thể. Cách tiếp cận này bổ sung video đời thường làm dữ liệu huấn luyện bên cạnh phương pháp thu thập dữ liệu trình diễn bằng cách trực tiếp điều khiển robot.

Tuy nhiên, bàn tay người và các khớp của robot khác nhau về cấu trúc cũng như chuyển động. Để chuyển hành động quan sát được trong video thành lệnh điều khiển khớp và mức lực mà robot có thể thực hiện, cần có thêm bước chuyển đổi và kiểm chứng. Chỉ trích xuất quỹ đạo bàn tay không đồng nghĩa robot có thể tái hiện chính xác động tác cầm và di chuyển vật thể.

Một bài khảo sát năm 2026 đăng trên Hội nghị Quốc tế chung về Trí tuệ nhân tạo (IJCAI) nêu việc tổ chức video phi cấu trúc thành các đơn vị nhiệm vụ phục vụ huấn luyện, cũng như kết nối thông tin lấy từ video với chuyển động của robot, là những thách thức cần giải quyết. Bài khảo sát cũng chỉ ra nhu cầu về phương pháp đánh giá có thể dự đoán hiệu suất khi triển khai thực tế. Lượng video và độ chính xác của thông tin về nhiệm vụ cần được xem xét riêng.

Dữ liệu có thể được thu thập từ video thông thường hoặc bằng thiết bị ghi chuyển động chuyên dụng. Innodata thông báo ngày 30 tháng 9 năm 2026 rằng công ty đã mở phòng thí nghiệm nghiên cứu và phát triển ghi chuyển động tại Ridgefield Park, bang New Jersey, Mỹ. Công ty cho biết cơ sở được thiết kế để theo dõi chuyển động với độ chính xác dưới milimét bằng camera quang học hồng ngoại Vicon.

Thông số này mô tả độ chính xác theo dõi của cơ sở theo công bố từ công ty, không phải chỉ số về sản lượng dữ liệu hay hiệu suất của mô hình huấn luyện. Phương pháp ghi chuyển động bằng thiết bị chính xác và phương pháp dùng video đời thường khác nhau về môi trường thu thập lẫn thông tin được ghi lại, nên khó so sánh kết quả theo cùng một tiêu chuẩn.

Scale AI giới thiệu các nền tảng thu thập dữ liệu cho lĩnh vực AI vật lý, gồm trình diễn điều khiển từ xa và thu thập video góc nhìn thứ nhất không cần robot. Đây là sản phẩm và phương thức vận hành do doanh nghiệp công bố. Khi kết hợp dữ liệu thu thập theo các điều kiện và cách gắn nhãn khác nhau, cần xem xét liệu thông tin nhiệm vụ cần cho việc huấn luyện có được ghi lại nhất quán hay không.

Việc sử dụng video người thật cũng đòi hỏi xác định cách xử lý dữ liệu ghi hình. Một nghiên cứu đạo đức về hợp tác giữa người và robot trong ngành sản xuất đề cập đến sự đồng thuận của người lao động và việc xử lý dữ liệu đúng với mục đích đã thông báo. Với video tại nơi làm việc, thời hạn lưu trữ, phạm vi tái sử dụng và khả năng chủ lao động dùng dữ liệu để giám sát hoặc đánh giá nhân viên cũng cần được xem xét.

Kết quả thử nghiệm của Dyna Robotics chưa đủ để khái quát hiệu suất thực tế của phương pháp huấn luyện bằng video. Cần đánh giá thêm mức độ chính xác khi chuyển thông tin trong video thành hành động có thể thực thi, cũng như khả năng tái lập kết quả với robot và môi trường làm việc thực tế. Video người thật được giới thiệu như một nguồn dữ liệu bổ trợ cho các màn trình diễn thu thập trực tiếp bằng robot.