LingBot-Touch được huấn luyện bằng 4.983 giờ dữ liệu xúc giác, thử nghiệm 26 tác vụ thực tế

Robbyant đã giới thiệu LingBot-Touch, mô hình AI robot xử lý tín hiệu từ nhiều loại cảm biến xúc giác theo một định dạng chung. Dữ liệu tiền huấn luyện gồm 4.983 giờ ghi nhận xúc giác, tương đương khoảng 1,3 tỷ khung hình.

Bài nghiên cứu liên quan được nộp lên arXiv lúc 3 giờ 12 phút sáng ngày 10 (giờ Hàn Quốc). Tài liệu hiện có là bản tiền xuất bản trên arXiv; chưa xác nhận tình trạng phản biện hoặc đăng trên tạp chí khoa học.

Cảm biến xúc giác tạo ra các tín hiệu khác nhau tùy theo nguyên lý phát hiện tiếp xúc. Vì vậy, dữ liệu từ cảm biến này khó có thể áp dụng trực tiếp cho cảm biến khác.

Trong tài liệu giải thích công nghệ, Robbyant cho biết tokenizer đầu vào riêng cho từng cảm biến xử lý tín hiệu, sau đó chuyển chúng qua một giao diện hình học chung đến mô hình dùng chung Haptic Transformer. Cấu trúc này đưa thông tin tiếp xúc từ các cảm biến khác nhau về cùng một dạng biểu diễn.

Mô hình được huấn luyện bằng phương pháp dự đoán không gian tiềm ẩn JEPA. Thay vì khôi phục trực tiếp giá trị tín hiệu, mô hình dự đoán biểu diễn của tình huống xúc giác dựa trên ngữ cảnh không gian và thời gian. Biểu diễn này có thể kết hợp với chính sách khuếch tán hoặc mô hình thị giác-ngôn ngữ-hành động (VLA).

Tập dữ liệu tiền huấn luyện gồm 464.431 phiên tương tác. Thời lượng ghi nhận theo từng loại cảm biến là 2.197 giờ với cảm biến áp điện trở, 1.650 giờ với cảm biến thị giác xúc giác và 1.136 giờ với cảm biến từ tính.

Dữ liệu huấn luyện kết hợp các bản ghi thu thập bằng găng tay xúc giác và bàn tay robot, với tổng cộng khoảng 1,3 tỷ khung hình.

Đánh giá trên robot thực tế gồm 20 tác vụ với bàn tay Sharpa Wave và 6 tác vụ với bàn tay XHand. Nhà phát triển cho biết mỗi tác vụ được thử nghiệm 20 lần.

Các phương án so sánh gồm mô hình cơ sở, mô hình nhận tín hiệu xúc giác thô và chính sách chỉ được bổ sung biểu diễn cố định của LingBot-Touch ở giai đoạn hậu huấn luyện. Qua đó, nhóm so sánh tỷ lệ hoàn thành tác vụ giữa các phương án có sử dụng thông tin xúc giác.

Các tác vụ thử nghiệm gồm thao tác chính xác, xử lý vật thể biến dạng và thao tác bằng cả hai tay. Nhà phát triển công bố biểu đồ so sánh tỷ lệ thành công của ba phương án.

Kết quả hiệu năng là đánh giá nội bộ của nhà phát triển. Tài liệu công khai hiện chưa có kết quả tái lập độc lập từ các nhóm nghiên cứu bên ngoài.

Bộ mã hóa nhỏ nhất, HaT-Tiny, có 5,46 triệu tham số. Mô hình cũng được thiết kế để có thể dùng phiên bản thu gọn cho suy luận.

Kho GitHub chính thức có mã suy luận, bộ chuyển đổi cảm biến và dữ liệu mẫu. Trọng số và tệp cấu hình của các phiên bản Tiny và Small được đăng riêng trên Hugging Face và ModelScope; trọng số hiển thị giấy phép Apache-2.0.

Các tệp mô hình được lưu trữ riêng với kho mã. Người dùng cần tài khoản có quyền truy cập kho mô hình tương ứng để tải xuống.

Tài liệu công khai có công cụ suy luận và một số dữ liệu mẫu, nhưng không có toàn bộ dữ liệu huấn luyện hoặc mã huấn luyện. Khi kết nối một cụm cảm biến mới, cần căn chỉnh và hiệu chuẩn tọa độ cảm biến, phạm vi đo cùng thứ tự các điểm phát hiện.

Tại Hàn Quốc cũng đã có những trường hợp phát triển bàn tay robot dựa trên xúc giác. TokenPost trước đây đưa tin về kế hoạch phát triển găng tay robot điều khiển từ xa truyền thông tin xúc giác và nhiệt độ đến người dùng.