Dobb-e: структура для обучения многоквалифицированных роботов для домашнего использования

Кредит: Shafiullah et al.

Исследователи из Нью-Йоркского университета недавно представили DOBB-E, новую структуру, специально предназначенную для эффективного обучения мобильных роботов на внутренние задачи, что в конечном итоге способствует их будущему широкому использованию.Эта структура, изложенная в бумаге, предварительно опубликованной на сервере ARXIV, может быть применена к различным роботам, предназначенным для оказания помощи людям в их домах.

«Эта статья родилась от нашего видения внедрения роботов в среднем американском доме в ближайшем будущем»,-сказал Tech Xplore Леррел Пинто, соавтор газеты.«У нас уже есть специализированные« роботы »в наших домах, такие как посудомоечная машина или стиральные машины, но универсальный робот, который может научиться завершать каждую домашнюю работу, и как это может помочь в этой ситуации, было далекой целью дляСлишком долго “.

Недавняя работа Пинто и его коллег имела ряд основных целей, и все они должны быть выполнены для успешной интеграции роботов в домашние среды.Во -первых, команда хотела разработать эффективный подход, который позволил бы пользователям быстро научить роботов новым навыкам.

Этот подход также должен обеспечить безопасность роботов, гарантируя, что они не наносят никаких повреждений, когда они учатся выполнять новые задачи.Наконец, это не должно быть особенно требовательным для конечных пользователей, что обеспечивает упрощение, а не усложнять их жизнь.

«Для достижения эффективности мы полагались на системы обучения, управляемые данными, успех которых легко видны в крупнейших моделях машинного обучения в развертывании сегодня»,-сказал Пинто.«Мы обеспечиваем безопасность, разработав нашу систему обучения с надзором со стороны пользователя, а не учимся на пробных и ошибках. Наконец, мы разработали инструмент эргономической демонстрации, позволяющий нам собирать конкретные демонстрации в незнакомых домах без прямой операции робота. ”

Структура DOBB-E имеет четыре ключевых компонента, а именно инструмент для сбора данных, предварительно обученная модель, разнообразный набор данных и схему развертывания.Первый из этих компонентов, называемый «палка», предназначен для упрощения сбора данных, используя смартфон пользователя.

«Палка-это наш дешевый, но эргономичный инструмент для сбора данных, который мы создаем из инструмента« Раунд-граббер », 3D-печатных креплений и iPhone Pro»,-сказал Пинто.«Простой список ингредиентов делает этот инструмент доступным и дешевым, в то время как монтированный iPhone позволяет нам записывать видео, глубину и передвижение с высоким разрешением из демонстраций».

Используя инструмент для сбора данных, Пинто и его коллеги собрали новый набор данных для обучения домашних роботов, которые они назвали набором данных «Дома Нью -Йорка» (HONY).Этот набор данных содержит кадры, собранные с использованием их настройки на основе смартфона в 216 домашних условиях в Нью-Йорке.

В отличие от других наборов данных для обучения роботов, разработанных в прошлом, набор данных Hony фокусируется на более разнообразном наборе сцен и поведения роботов.Кроме того, инструмент для сбора палков позволил им составить на порядок больше сцен, чем те, которые были представлены в предыдущих наборах данных.

Третий компонент системы DOBB-E-предварительно обученная модель восприятия.Эта модель была обучена набору данных HONY, используя самоотверженный подход к обучению.

«Мы обучаем домохозяйственных представлений (HPR) в качестве нашей модели визуального распознавания, используя набор данных HONY и современный самоотверженный алгоритм обучения, Moco-V3»,-объяснил Пинто.«HPR позволяет нашему методу масштабироваться в совершенно разных сценах в разных домах».

Пинто и его коллеги оценили потенциал их инструмента сбора данных, набора данных HONY и предварительно обученной модели визуального распознавания в серии экспериментов в реальных домашних условиях.В этих экспериментах они развернули свой обученный алгоритм на Hello Robot Stretch, многообещающем многофункциональном роботе мобильного дома.

Примечательно, что робота учили выполнять 109 различных домашних задач.Для каждой из этих задач исследователи настраивали свою модель в среднем пятью минутами новых видеодантеров.

«Наиболее захватывающим результатом этой статьи является подтверждение того, что с нашим нынешним уровнем технологий мы можем построить ученые роботизированные агенты, которые могут выполнять широкий спектр задач в аналогичном диапазоне домов», - сказал Пинто.

“Dobb-E-это передовый исследовательский проект, но, расширяя этот проект и создавая надлежащие леса вокруг него, мы можем ожидать, что он превратится в первые шаги к общему помощнику по дому, который может помочь пожилым людям, люди, пострадавшие от инвалидности, или просто занятые родители. Однако, чтобы добраться туда, где мы находимся, нуждается в гораздо большей работе как для улучшения возможностей, так и для [полировки], чтобы сделать его более удобным для пользователя ».

Структура DOBB-E является большим вкладом в текущие усилия, направленные на то, чтобы обеспечить широкое развертывание многофункциональных домашних роботов.Первые эксперименты команды дали очень многообещающие результаты, а также подчеркивали некоторые из ключевых факторов, влияющих на производительность домашних роботов.

В будущем эта недавняя работа может проинформировать о разработке все более продвинутых внутренних робот -систем.Пинто и его коллеги публично выпустили свой инструмент сбора данных, наборы данных и предварительную модель, поэтому другие исследовательские группы могут вскоре использовать их или адаптировать их как часть собственных исследований.

«В то время как DOBB-E обращается к изучению навыков низкого уровня в различных сценариях, он не учитывает необходимость в планировщике более высокого уровня или политике, которая связывает эти навыки вместе для выполнения различных задач в домах»,-добавил Пинто.

«Одно из наших будущих направлений должно быть изучать навыки цепочки для выполнения значимых задач с длинными горы в домах. Другое направление, которое мы хотим исследовать,-это улучшить датчики на палке и роботе и потенциально итерационное на нашем ощущении глубины, добавление большего количества видов камеры и добавление большего количества методов датчиков, таких как прикосновение и звуки ».

Больше информации: Nur Muhammad Mahi Shafiullah et al. О доведении роботов домой, Arxiv (2023).Doi: 10.48550/arxiv.2311.16098

© 2023 Science X Network