Новая система обеспечивает интуитивно понятную телеоперацию роботизированного манипулятора в режиме реального времени

Система телеоперации команды.Оператор управляет рукой и рукой робота, используя позы пальцев и запястья соответственно.Визуальная и тактичная обратная связь системы, в сочетании с четырьмя возможностями в реальном времени, обеспечивает интуитивно понятный и захватывающий опыт виртуальной реальности для оператора.Кредит: Arxiv (2024).Doi: 10.48550/arxiv.2407.03162

Имитационное обучение - это многообещающий метод обучения роботов, как надежно выполнять повседневные задачи, такие как мытье посуды или приготовление пищи.Несмотря на их потенциал, имитационные рамки обучения полагаются на подробные человеческие демонстрации, которые должны включать данные, которые могут помочь воспроизвести конкретные движения с использованием роботизированных систем.

Одним из способов сбора этих демонстраций является использование телеоперационных систем, которые позволяют людям контролировать движения роботизированных манипуляторов для выполнения конкретных задач.Однако большинство существующих систем телеоперации изо всех сил пытаются эффективно обрабатывать воспроизведение сложных и скоординированных движений, выполняемых людьми.

Исследователи из Калифорнийского университета в Сан-Диего недавно разработали систему Bunny-VisionPro, которая позволяет телеоперации роботизированной системы выполнять бимануальные задачи ловких манипуляций.Эта система, представленная в статье, размещенной на сервере Arxiv Preprint, может облегчить сбор человеческих демонстраций для имитационного обучения.

«Наша недавняя статья была вдохновлена ​​необходимостью продвижения бимануальной ловкой телеоперации для робототехники»,-сказал Tech Xplore Сяолонг Ван, соавтор газеты.

«Мы признали, что существующие системы телеоперации, основанные на зрении, редко фокусируются на управлении с двумя руками, что имеет решающее значение для сложных задач, требующих координации рук».

Основной целью недавней работы Ванга и его коллег было разработать общую систему телеоптация, которая может хорошо обобщать различные типы роботов и задач, что значительно упрощало сборку демонстраций для обучения алгоритмам контроля робототехники.

Система, которую они разработали, под названием Bunny-VisionPro, могла бы создавать телеоперацию и сбор интуитивных и захватывающих демонстрационных данных, как игра в игру в виртуальной реальности (VR).

«Bunny-VisionPro-это инновационная бимануальная ловкая система телеоперации, которая позволяет человеческим операторам контролировать руки с двойным роботом и многогласовые руки в режиме реального времени»,-пояснил Ван.«Это обеспечивает высококачественную демонстрационную коллекцию для повышения имитационного обучения».

Устройство, телеоперационное через систему команды, является портативным и легким.В то время как пользователи телеоперации этого устройства, они также получают визуальную и тактискую обратную связь, что делает их опыт более захватывающим.

В начальных тестах была обнаружена система кролика-VisionPro, позволяющая безопасному контролю роботизированного манипулятора в режиме реального времени и с низкой задержкой, а также предотвращает столкновения с близлежащими объектами.Примечательно, что система также легко установить и развернуть в лабораторных условиях, что делает ее многообещающим решением для сбора демонстраций в лаборатории робототехники.

Bunny-VisionPro имеет три ключевых компонента: модуль управления движением руки, модуль ретаргетинга рук и движения и модуль тактичной обратной связи.

«Модуль управления движением рук отвечает на позу человека на запястье в позу конечного эффекта робота, решает проблемы сингулярности и столкновения»,-сказал Ван.«Модуль ретаргетинга рук и движения отображает позы для робота, включая поддержку структурных структур.

Основным преимуществом новой системы телеоперации, разработанной Wang и коллегами, является то, что она обеспечивает безопасное управление бимануальной роботизированной системой в режиме реального времени.В отличие от нескольких других решений, представленных в прошлом, он также интегрирует тактику и визуальную обратную связь, что делает коллекцию демонстраторов более захватывающими для людей, а также улучшает показатели успеха в телеоценке системы.

«Система бимануального телеоперации в реальном времени в реальном времени, которую мы разработали эффективно уравновешивает безопасность и производительность»,-сказал Ван.«Эта система обеспечивает контроль над руками робота и многократных рук с минимальной задержкой, одновременно включая предотвращение столкновений и обработку сингулярности. Это важно для надежной работы в реальных роботизированных приложениях».

Эта недавняя работа Вана и его коллег могла бы значительно упростить использование телеоперации для сбора демонстраций для имитационных структур обучения.В будущем Bunny-VisionPro может быть развернут в других лабораториях робототехники по всему миру и может вдохновить развитие аналогичных иммерсивных систем роботизированных телеоптация.

«В наших следующих исследованиях мы планируем дополнительно расширить возможности манипуляции, используя тактильную информацию робота для лучшей точности и адаптивности», - добавил Ван.«Код для нашей системы является открытым исходным кодом и может быть доступен на GitHub».

More information: Runyu Ding et al, Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning, arXiv (2024). DOI: 10.48550/arxiv.2407.03162