Фреймворк позволяет роботам учиться с помощью демонстрационных видеороликов

Наш предложенный TieBot выполняет задачу сцепления.Мы используем моделирование ткани для восстановления движения галстука от человеческой демонстрации и изучать политику достижения целей для выполнения задачи по сцеплению галстука.Кредит: Peng et al.

Чтобы быть успешно развернутым в реальных условиях, роботы должны быть способны надежно выполнять различные повседневные задачи, начиная от домашних обязанностей до промышленных процессов.Некоторые из задач, которые они могли выполнить, влечет за собой манипулирование тканями, например, при складывании одежды, чтобы поставить их в гардероб или помочь пожилым людям с нарушениями мобильности, чтобы увязать свои связи перед социальным событием.

Разработка роботов, которые могут эффективно выполнять эти задачи, до сих пор оказалось довольно сложным.Многие предлагаемые подходы к обучению роботов на задачах манипулирования тканью полагаются на имитационное обучение, методику для обучения управления роботами с использованием видео, кадров захвата движения и других данных людей, выполняющих интересующие задачи.

В то время как некоторые из этих методов достигли обнадеживающих результатов, чтобы хорошо работать, они обычно требуют значительных объемов демонстрационных данных человека.Эти данные могут быть дорогими и трудными для сбора, в то время как существующие наборы данных с открытым исходным кодом не всегда содержат столько данных, сколько и для обучения других вычислительных методов, таких как компьютерное зрение или генеративные модели ИИ.

Исследователи из Национального университета Сингапура, Шанхайского университета Цзяо Тонга и Университета Нанкин недавно внедрили альтернативный подход, который мог бы улучшить и упростить обучение алгоритмов робототехники с помощью человеческих демонстраций.Этот подход, описанный в бумаге, предварительно опубликованном на ARXIV, предназначен для использования некоторых из многих видео, размещенных в Интернете каждый день, используя их в качестве человеческих демонстраций повседневных задач.

«Эта работа начинается с простой идеи по созданию системы, которая позволяет роботам использовать бесчисленные человеческие демонстрационные видеоролики в Интернете для изучения сложных навыков манипуляции»,-сказал Tech Xplore Weikun Peng, соавтор газеты.«Другими словами, учитывая произвольное человеческое демонстрационное видео, мы хотели, чтобы робот выполнил ту же задачу, что и в видео».

В то время как в предыдущих исследованиях также были представлены методы имитации обучения, которые использовали видеозаписи, они использовали видео, специфичные для домена (то есть видео о людях, выполняющих конкретные задачи в той же среде, в которой робот будет позже решать задачу), в отличие от произвольных видеособрано в любой среде или настройке.

С другой стороны, структура, разработанная Пенгом и его коллегами, предназначена для того, чтобы позволить имитации роботов обучение из произвольных демонстрационных видеороликов, найденных в Интернете.

Подход команды имеет три основных компонента, получивших название Real2sim, Learn@Sim и Sim2Real.Первым из этих компонентов является центральная и самая важная часть структуры.

«Real2sim отслеживает движение объекта в демонстрационном видео и повторяет то же движение на сетчатой ​​модели в симуляции», - объяснил Пенг.«Другими словами, мы пытаемся воспроизвести человеческую демонстрацию в симуляции. Наконец, мы получаем последовательность сетки объекта, представляя основную траекторию объекта истины».

Подход исследователей использует сетки (то есть точные цифровые представления геометрии, формы и динамики объекта) в качестве промежуточных представлений.После того, как компонент Real2SIM повторяет человеческую демонстрацию в моделируемой среде, второй компонент структуры, получивший название Learn@SIM, изучает точки захвата и размещение точек, которые позволили бы роботу выполнять те же действия с помощью обучения подкреплению.

«После обучения захватывающих очков и размещения очков в симуляции мы развернули политику на реального робота с двумя руками, который является третьим шагом нашего трубопровода (то есть SIM2Real)»,-сказал Пенг.«Мы обучили остаточную политику для смягчения разрыва SIM2Real».

Исследователи оценили их предлагаемый подход в серии тестов, в частности, сосредоточившись на задаче завязки галстука.Хотя эта задача может быть чрезвычайно сложной для роботов, подход команды позволил роботизированному манипулятору успешно завершить его.

«Примечательно, что многие предыдущие работы требуют демонстрационных видеороликов« домен », что означает, что настройка демонстрационных видео должно быть таким же, как и настройка среды исполнения робота», - сказал Пэн.«Наш метод, с другой стороны, может учиться на демонстрационных видео« вне домена », поскольку мы извлекаем движение объекта в трехмерное пространство из демонстрационного видео».

В будущем новый подход, представленный Пенгом и его коллегами, может быть применен к другим сложным и сложным задачам манипулирования роботами.В конечном счете, это может способствовать обучению роботов посредством имитационного обучения, потенциально обеспечивая новые достижения в своих навыках.

«Мой план будущей работы-расширить идею реальной реальности на другие задачи»,-добавил Пенг.

«Если мы сможем воспроизвести движение объекта в моделировании, можем ли мы повторить реальный мир в моделировании? Сообщество робототехники сталкивается с проблемой дефицита данных, и, по моему мнению, если мы можем повторить реальный мир в моделировании, мы можем собирать данные большеэффективно и лучше передавать политику в реальных роботов ».

More information: Weikun Peng et al, TieBot: Learning to Knot a Tie from Visual Demonstration through a Real-to-Sim-to-Real Approach, arXiv (2024). DOI: 10.48550/arxiv.2407.03245