Система телеоперации на основе компьютерного зрения, которая может быть применена к разным роботам

AnyTeleop-это система телеоперации, основанная на зрении, для различных сценариев, предназначенная для решения широкого спектра задач манипуляции с различными руками робота и различными руками робота.Он также поддерживает телеоперацию в различных реальностях, таких как Nvidia Isaacgym (верхний ряд), Sapien Simulator (средний ряд) и реального мира (нижние ряды).Кредит: Nvidia и UC San Diego

Недавние достижения в области робототехники и искусственного интеллекта (ИИ) открыли захватывающие новые возможности для телеоптация, дистанционное управление роботами для выполнения задач в отдаленном месте.Это может, например, позволить пользователям посещать музеи издалека, полное техническое обслуживание или технические задачи в пространствах, к которым трудно получить доступ или посещать мероприятия дистанционно в более интерактивных способах.

Большинство существующих систем телеоперации предназначены для развертывания в конкретных настройках и с использованием конкретного робота.Это затрудняет их применение в различных реальных условиях, что значительно ограничивает их потенциал.

Исследователи в NVIDIA и UC San Diego недавно создали AnyTeleop, систему телеоперации на основе компьютерного зрения, которая может быть применена к более широкому диапазону сценариев.AnyTeleop, представленная в бумаге, предварительно опубликованной на Arxiv, позволяет удаленной работе различных роботизированных рук и рук выполнять различные ручные задачи.

«Основная цель в Nvidia - исследовать, как люди могут обучать роботов выполнять задачи», - старший директор Robotics Research в Nvidia Research Research Nvidia.Наука и инженерия и руководитель лаборатории UW Robotics и государственной оценки, рассказал Tech Xplore.

«Предыдущая работа была сосредоточена на том, как человек будет телеоптационировать или руководство, робота, но этот подход имеет два барьера. Во-первых, обучение современной модели требует много демонстраций. Во-вторых, настройки обычно имеют дорогостоящиеУстройство или сенсорное оборудование и предназначены только для конкретной среды робота или развертывания », - сказал Фокс.

Ключевой целью недавней работы Фокса и его коллег было создать систему телеоперации, которая является недорогой, легко развертываться и хорошо обобщать для различных задач, сред, и роботизированных систем.Чтобы обучить свою систему, исследователи телеоперации как виртуальных роботов в смоделированной среде, так и реальных роботов в физической среде, поскольку это сократило необходимость покупки и сборки многих роботов.

«AnyTeleop-это система телеоперации, основанная на зрении, которая позволяет людям использовать свои руки для управления ловкими роботизированными системами ручной руки»,-пояснил Фокс.«Система отслеживает человеческую руку из одиночных или нескольких камер, а затем отвечает им, чтобы управлять пальцами ручной работы робота с несколькими пальцами. Точка запястья используется для управления движением рукава робота с помощью планировщика движения с мощностью CUDA».

В отличие от большинства других систем телеоперации, введенных в прошлых исследованиях, AnyTeleop может быть связан с различными руками робота, руками робота, конфигурациями камеры и различными моделируемыми или реальными средами.Кроме того, он может быть применен к обоим сценариям, в которых пользователи находятся рядом и в отдаленных местах.

Платформа AnyTeleop также может помочь собирать человеческие демонстрационные данные (то есть данные, представляющие движения и действия, которые люди выполняют при выполнении конкретных ручных задач).Эти данные, в свою очередь, могут быть использованы для лучшего обучения роботов для автономного выполнения различных задач.

«Основным прорывом AnyTeleop является его обобщаемый и легко развертываемый дизайн», - сказал Фокс.«Одним из потенциальных приложений является развертывание виртуальных сред и виртуальных роботов в облаке, что позволяет пользователям Edge с компьютерами и камерами начального уровня (такими как iPhone или ПК) для их телеоперации. Это может в конечном итоге революционизировать конвейер данных для исследователей и промышленных разработчиков.Роботы новые навыки “.

В начальных испытаниях было обнаружено, что AnyTeleop превосходит существующую систему телеоперации, предназначенную для конкретного робота, даже при применении к этому роботу.Это подчеркивает его ценность как инструмент для улучшения приложений телеопераций.

Nvidia скоро выпустит версию системы AnyTeleop с открытым исходным кодом, позволяя исследовательским группам по всему миру проверить ее и применить ее к своим роботам.В будущем эта новая многообещающая новая платформа может способствовать масштабированию систем телеопераций, а также способствует сбору данных обучения для роботизированных манипуляторов.

«Теперь мы планируем использовать собранные данные для изучения дальнейшего обучения роботам», - добавил Фокс.«Одним из заметных фокусов является то, как преодолеть пробелы в области при передаче моделей роботов из моделирования в реальное мир».

Больше информации: Yuzhe Qin et al., Anyteleop: Общая система лицевой телеоценки на основе общего зрения, Arxiv (2023).Doi: 10.48550/arxiv.2307.04577

© 2023 Science X Network