Open Television позволяет управлять виртуальным удаленным роботом

Teleoperated data collection and learning setup. Left: our teleoperation system. Right: we train an imitation policy for each task with action chunking transformer. The transformer encoder captures the relationship of image and proprioception tokens and the transformer decoder outputs action sequences of a certain chunk size. Credit: arXiv (2024). DOI: 10.48550/arxiv.2407.01512

A combined team of roboticists from MIT and the University of California, San Diego, has developed a new type of remote control for robots called Open-TeleVision that allows for VR-type control. The team has posted a paper describing their robot system on the arXiv preprint server. They also posted videos on YouTube showing the robot and its pilot in action.

Технология ИИ, примененная к робототехнике, вызвала постепенные улучшения, но на сегодняшний день нет автономных роботов, которые работают так же гладко, как биологическое существо, включая людей.И большинство в этой области не ожидают паритета в ближайшее время.Некоторые на поле вернулись к идее дистанционно контролируемых роботов.

В этом новом исследовании команда из MIT и UCSD получила опыт управления удаленным роботом гораздо более захватывающим, предоставив пилоту опыт виртуального типа.

Most VR consumer products are intended for gaming—a player dons a VR helmet/mask and uses control devices to wander around and manipulate objects in a virtual world. The researchers have taken this idea a step forward by using much the same technology to allow a pilot to wander around and manipulate real objects by using the senses and body of a remote robot.

With the Open-TeleVision system, a pilot dons a VR helmet, allowing him or her to see via the robot’s eyes in a stereoscopic manner. The pilot is able to move the robot’s head by turning his/her head, and to manipulate the robot’s arms, hands and fingers by moving his or her own.

Вместо того, чтобы носить датчики на руках, руках и пальцах, движение конечностей захватывается с использованием дистанционных датчиков, аналогичных датчикам в системе Kinect.Система позволяет пилоту чувствовать себя так, как будто он находится в удаленном месте, выполняющем такие действия, как собирание шаров и размещение их в чашках, в то время как робот выполняет фактическую работу.

Исследовательская группа продемонстрировала полезность системы, позволив члену команды в MIT контролировать робота в UCSD, чувствуя себя так, как будто они сами были на отдаленном месте.При дальнейшей уточнении они предполагают, что системы, основанные на открытой транслирует, могут использоваться для применений, включая дистанционную хирургию, поисковые и спасательные усилия в опасных местах или даже для изучения других планет.

More information: Xuxin Cheng et al, Open-TeleVision: Teleoperation with Immersive Active Visual Feedback, arXiv (2024). DOI: 10.48550/arxiv.2407.01512