Фреймворк на основе обучения для облегчения телеоперациигуманоидных роботов

Кредит: он и др.

Эффективная работа роботов с расстояния, также известная как телеоперация, может позволить людям выполнить обширный диапазон ручных задач удаленно, включая рискованные и сложные процедуры.Тем не менее, телеоперация также может быть использована для составления наборов данных человеческих движений, которые могут помочь обучать гуманоидных роботов на новые задачи.

Исследователи из Университета Карнеги-Меллона недавно разработали Human2humanoid (H2O), метод, позволяющий эффективной телеоперации гуманоидных роботов размером с человека.Этот подход, представленный в статье, опубликованном на сервере препринта ARXIV, может позволить подготовку гуманоидных роботов по ручным задачам, которые требуют определенных наборов движений, включая занятия различными видами спорта, толкание троллейбуса или коляски, а также движущиеся коробки.

«Многие люди считают, что 2024 год-это год гуманоидов, в основном потому, что выравнивание воплощения между людьми и гуманоидами позволяет бесшовно интегрировать человеческие когнитивные навыки с универсальными гуманоидными возможностями»,-сказал Гуанья Ши, соавтор статьи, сказал Tech Xplore.

«Тем не менее, перед такой захватывающей интеграцией нам нужно сначала создать интерфейс между человеком и гуманоидом для сбора данных и разработки алгоритма. Наша работа H2O (Human2humanoid) делает первый шаг, внедряя систему телеоптация всего тела в реальном времени, используя только толькоКамера RGB, которая позволяет человеку точно телеоптретировать гуманоид во многих реальных задачах ».

Недавняя работа этих исследователей облегчает телеоперацию полноразмерных гуманоидных роботов в режиме реального времени.В отличие от многих других методов, представленных в предыдущих исследованиях, H2O опирается только на камеру RGB, которая облегчает его повышение и широкое использование.

«Мы считаем, что человеческая телеоперация будет иметь важное значение для масштабирования маховика данных для гуманоидных роботов, а также для того, чтобы сделать телеоперацию доступной и простым в достижении нашей основной цели»,-сказал онран, соавтор статьи, соавтор статьи.«Вдохновленные предыдущими работами, которые решали части этой проблемы-например, анимация человеческих движений на основе физики, передача человеческих движений в реальные гуманоиды и телеоперацию гуманоидов-это исследование направлено на объединение этих компонентов в одну рамку».

H2O - это масштабируемый и эффективный метод, который позволяет исследователям собирать большие наборы данных человеческих движений и ретартировать эти движения гуманоидным роботам, чтобы люди могли телеопредоровать их в реальном времени, воспроизводя все свои движения тела на роботе.Достижение телеоперации роботов в режиме реального времени в режиме реального времени является сложной задачей, поскольку тела гуманоидных роботов не всегда позволяют им воспроизводить человеческие движения, связанные с различными конечностями, и существующие модельные контроллеры не всегда производят реалистичные движения в роботах.

«H2O Телеоперация-это структура, основанная на обучении подкреплению (RL), которая облегчает телеоперацию гуманоидных роботов в реальном времени в реальном времени, используя только камеру RGB»,-пояснил он.«Процесс начинается с ретаргетирования человеческих движений в гуманоидные возможности посредством новой методологии« SIM-DATA », гарантируя, что движения возможны для физических ограничений гуманоида. Этот утонченный набор данных движения затем тренирует имитатор движения на основе RL в симуляторе, который, который, который, который моделирует, который, который моделируется, который, который, который, который моделирует, который, который, который моделируется, который, который, который моделирует, который, который моделируется, который, который моделируется, который, который моделирует, который, который моделируется, который, который моделируется, который, который моделируется, который, который моделируется, который, который моделирует, который, который моделирует, который моделируется.впоследствии передается реальному роботу без дальнейшей корректировки ».

Метод, разработанный Ши, он и их коллеги имеют многочисленные преимущества.Исследователи показали, что, несмотря на свои минимальные требования к оборудованию, это позволяет роботам выполнять широкий спектр динамических движений всего тела в режиме реального времени.

Входные кадры, используемые для телеоперативных роботов, собираются с использованием стандартной камеры RGB.Другие компоненты системы включают алгоритм ретаргетинга, метод очистки данных о движении человека в моделировании (обеспечение того, чтобы движения могут быть эффективно воспроизведены в роботах) и модель, основанную на обучении, которая изучает новые политики в области телеоптация.

«Наиболее заметным достижением нашего исследования является успешная демонстрация гуманоидной телеоперации всего тела в реальном времени в реальном времени, первая в своем роде, чтобы наилучшим образом»,-сказал он.«Эта демонстрация открывает новые возможности для применений гуманоидных роботов в среде, где человеческое присутствие рискованно или нецелесообразно».

Исследователи продемонстрировали осуществимость своего подхода в серии реальных тестов, где они телеоперации с гуманоидами и успешно воспроизводили различные движения, включая вытягивание коробки, ударив по мячу, толчок коляски, ловя коробку и бросая его вмусорная корзина.

Структура H2O вскоре может быть использована для воспроизведения других движений и обучения роботов по многочисленным реальным задачам, начиная от домашних обязанностей до задач по техническому обслуживанию, оказания медицинской помощи и даже спасения людей из опасных мест.Поскольку это требует только камеры RGB, этот новый метод может быть реалистично реализован в широком диапазоне настроек.

«Процесс« SIM-DATA »и стратегия управления на основе RL могут также повлиять на будущие события в области телеоптация робота и имитации движения»,-сказал он.«Наше будущее исследование будет сосредоточено на улучшении и расширении возможностей гуманоидной телеоптации. Ключевые области включают в себя повышение верности ретаргетинга движения, чтобы охватить более широкий спектр человеческих видов деятельности, более эффективное решение разрыва с рисунком и изучение способов включения обратной связи.От робота до оператора, чтобы создать более захватывающий опыт телеоперации ».

В следующих исследованиях Ши, он и их сотрудники планируют продвигать свою систему.Например, они хотели бы повысить свою производительность в сложных, неструктурированных и непредсказуемых сценариях, поскольку это может упростить его развертывание в реальном мире.

«Мы также планируем расширить структуру, чтобы включить манипуляции с ловкими руками и постепенно повысить уровень автономии робота, чтобы наконец достичь эффективного, безопасного и ловкого сотрудничества с человеком-роботом»,-добавил Чангли Лю

Больше информации: Tairan He и др., Изучение телеоперации всего тела в реальном времени в реальном времени, Arxiv (2024).Doi: 10.48550/arxiv.2403.04436