Новая структура для сбора данных обучения роботов новой политики манипуляции

Уми демонстрационный интерфейс дизайн.Слева: Ручные захватыватели для сбора данных, с GoPro в качестве единственного датчика и записывающего устройства.Середина: изображение из вида GoPro 155 ° Fisheye.Обратите внимание на физические боковые зеркала, выделенные зеленым, которые предоставляют неявную стерео информацию.Справа: UMI-совместимый робот-захватчик и настройка камеры делают наблюдение, похожее на представление ручного захвата.Кредит: Arxiv (2024).Doi: 10.48550/arxiv.2402.10329

Исследователи из Стэнфордского университета, Колумбийского университета и исследовательского института Toyota недавно разработали Universal Manipulation Interface (UMI), структуру для сбора данных обучения и навыков передачи от человеческих демонстраций в дикой природе в политику, используемую на роботах.

Эта структура, представленная в статье, размещенной на сервере ARXIV на сервере препринта, может способствовать развитию роботизированных систем, ускоряя и облегчая их обучение по задачам манипулирования новыми объектами.

«В прошлом году сообщество робототехники увидела огромный прогресс в роботизированных возможностях и сложности задач, вызванных волной алгоритмов имитационного обучения, включая нашу предыдущую работу« Политика распространения »,-сказал Ченг Чи, соавтор статьи,-сказал Tech Xplore.

“Эти алгоритмы принимают наборы данных телеоперации человека и создают сквозную глубокую нейронную сеть, которая вызывает действия робота непосредственно из пикселей. Эти методы настолько сильны, что мы чувствовали с достаточно большими и разнообразными демонстрационными наборами, нет очевидного потолка на ихвозможности.

«Однако, в отличие от других областей, таких как обработка естественного языка (NLP) или компьютерное зрение (CV), в Интернете нет широко доступных роботизированных данных, поэтому мы должны сами собирать данные».

Сопровождение больших наборов данных, содержащих широкий спектр демонстрационных данных посредством телеоперации (то есть удаленная работа физических роботов) может быть как дорогой, так и трудоемкой.Кроме того, логистика, необходимая для транспортировки роботов, усложняет сбор различных данных.

Чи и его коллеги решили решить эти сообщаемые проблемы обучения роботов масштабируемым и эффективным образом.Ключевой целью их недавнего исследования было разработка масштабируемого метода сбора реальных данных обучения робототехнике в широком спектре сред.

«Еще в 2020 году наша лаборатория опубликовала работу под названием« Захват в дикой природе », которая впервые использовала идею использования ручного устройства захвата в сочетании с камерой, установленной на запястье, для сбора данных в дикой природе»,-объяснил Чи.«Однако, ограниченная алгоритмами обучения в то время, а также некоторыми недостатками аппаратного дизайна, система ограничена простыми задачами, такими как схватывание объектов».

Опираясь на свои предыдущие работы, Чи и его коллеги разработали новую систему для сбора данных и роботов.Эта система, дублированная UMI, включает в себя ручной роботизированной захват и глубокую структуру обучения, которая сочетает в себе выгодные особенности недавно разработанных алгоритмов обучения имитации, таких как «политика диффузии».

«UMI-это структура сбора данных и обучения политики, которая позволяет прямой передачу навыков от человеческих демонстраций в политику развертываемой робот»,-пояснил Чи.«Он состоит из двух компонентов. Первый-это физический интерфейс (то есть 3D-печатные сжимаИнтерфейс политики (то есть, API), который определяет стандартный способ учиться на данных, которые позволяют передавать кросс-гард (то есть развертывание для нескольких роботов реального мира) ».

Структура, разработанная Чи и его сотрудниками, имеет многочисленные преимущества по сравнению с другими методами для сбора данных и обучения роботизированных манипуляторов.Во -первых, разработанные ими уми, которые они разработали, были гораздо более интуитивно понятны, чем ранее введенные подходы к телеоперации.

«Сборщик данных может продемонстрировать гораздо более сложные задачи намного быстрее по сравнению с телепортацией, - сказал Чи, - в результате научная политика становится более эффективной».

Второе преимущество UMI заключается в том, что он обеспечивает сбор крупных и разнообразных наборов данных, которые позволяют роботам хорошо обобщать невидимые среды и задачи манипуляции с объектами.Сбор этих данных с использованием UMI также гораздо дешевле и выполняется, чем компиляция аннотированных учебных наборов с использованием традиционных методов.

«Уми также обеспечивает генерализацию поперечной программы»,-сказал Чи.”Любая исследовательская лаборатория может модернизировать свои промышленные роботы с помощью UMI-совместимых Grippers и камер и непосредственно использовать политики, которые мы обучали, или воспользоваться данными, которые мы собирали для предварительного обучения. Для сравнения, большая часть набора данных, которые в настоящее время существуют.специфичный для варианта осуществления робота и часто в конкретной лабораторной среде.

В начальных экспериментах подход UMI дал очень многообещающие результаты.Было обнаружено, что он обеспечивает очень интуитивно понятное сквозное имитационное обучение, обучение роботов по различным сложным задачам манипуляции с ограниченными инженерными усилиями со стороны исследователей, включая мытья посуду и складывающаяся одежда.

«Наши эксперименты также показали, что с различными данными сквозное имитационное обучение может обобщить в невидимые условия и невидимые объекты в виде врубья и невидимых объектов»,-сказал Чи.«Напротив, стандарт оценки этих сквозных методов имитационного обучения, ранее используя одну и ту же среду как для обучения, так и для тестирования. В совокупности собранные нами доказательства предполагают, что с достаточно большими и разнообразными наборами робототехники, роботами общего назначения.такие как домашние роботы могут стать возможными, даже без изменения парадигмы в алгоритмах обучения ».

Новая структура, представленная Чи и его сотрудниками, может быть вскоре использоваться для сбора других учебных наборов и проверенных на более широком диапазоне сложных задач манипуляции.Дизайн Gripper Umi и его базового программного обеспечения является открытым исходным кодом и может получить доступ к другим командам на Github.

«Теперь мы хотим дополнительно расширить способности и методы наблюдения UMI, улучшив аппаратное обеспечение и адаптируя их к более широкому диапазону роботов», - добавил Чи.«Мы также планируем собрать еще больше данных и использовать эти данные для дальнейшего улучшения алгоритмов обучения».

Больше информации: Ченг Чи и др., Универсальный интерфейс манипуляции: обучение роботов в WILD без роботов, Arxiv (2024).Doi: 10.48550/arxiv.2402.10329

© 2024 Science X Network