Система, которая позволяет домашним роботам готовить в сотрудничестве с людьми

Исследователи оценили своего робота по нескольким рецептам.Кредит: Wang et al.

Домашние роботы могут помочь людям с завершением различных обязанностей по дому и ручным задачам, начиная от мытья посуды или стирки до приготовления пищи, уборки и уколания.В то время как многие роботисты и компьютерные ученые пытались улучшить навыки домашних роботов в последние годы, многие из разработанных роботов до сих пор не могут решать более сложные и творческие задачи, такие как приготовление пищи в сотрудничестве с людьми.

Исследователи из Корнелльского университета недавно разработали модульную архитектуру Mosaic, которая позволяет роботам выполнять сложные домашние задачи, которые связаны с тесным взаимодействием с людьми, включая интерактивную приготовление пищи.Эта система, представленная в статье, опубликованной на сервере Arxiv Preprint, была протестирована в серии реальных экспериментов, показывая, что она может поддерживать людей с приготовлением различных рецептов.

«Мы представляем Mosaic, модульную архитектуру для домашних роботов для выполнения сложных совместных задач, таких как приготовление пищи с обычными пользователями», - написали Huaxiaoyue Wang, Kushal Kedia и их коллеги в своей статье.«Мозаика тесно сотрудничает с людьми, взаимодействует с пользователями, использующими естественный язык, координирует несколько роботов и управляет открытым словарным запасом повседневных объектов».

Предлагаемая исследователи система является модульной, что означает, что она состоит из различных частей или модулей, которые решают различные аспекты поставленной задачи.Компоненты системы могут быть широко разделены на интерактивный планировщик задач, архитектуру для идентификации объектов и планирования движений роботов и модели, предназначенной для прогнозирования движений людей.

«По своей сути, Mosaic использует модульность: он использует несколько крупномасштабных предварительно обученных моделей для общих задач, таких как язык и распознавание изображений, в то же время используя оптимизированные модули, предназначенные для управления конкретными задачами»,-объяснили исследователи в своей статье.

Ван, Кедия и их коллеги до сих пор оценили эффективность своей системы в 60 экспериментальных испытаниях, используя две разные роботизированные системы, а именно мобильный манипулятор RETE ROBOT RE1 и настольный манипулятор Франка Эмилка.С человеческим пользователем готовит шесть относительно простых рецептов, включая два разных типа салата, три различных типа супа и бутерброд с тунцом.

«Мы также тщательно проверяем отдельные модули с 180 эпизодами визуамоторного выбора, 60 эпизодов прогнозирования движения человека и 46 онлайн -оценки пользователей планировщика задач», - написали исследователи.«Мы показываем, что Mosaic способна эффективно сотрудничать с людьми, управляя общей системой сквозной с реальным человеческим пользователем, завершив 68,3%(41/60) совместных испытаний приготовления пищи 6 различных рецептов с уровнем завершения подборов 91,6%. ”

В интерактивных экспериментах по приготовлению кулинарии, проведенных исследователями, Mosaic показала значительно хорошо, успешно завершив приблизительно две трети рецептов, которые он подготовил с людьми.Мозаика может вскоре послужить вдохновением для других исследований, что способствует развитию вспомогательных роботизированных систем, предназначенных для развертывания в домашних условиях.

В будущем Ван, Кедия и их коллеги могут еще больше улучшить некоторые из основных компонентов их системы, чтобы еще больше повысить ее производительность как в совместной приготовлении пищи, так и в других интерактивных задачах.Например, в настоящее время обнаружено, что система хорошо работает на простых ручных подзадатах, таких как подбор и перемещение объектов, но она еще не применялась к более продвинутым подзадатам.Это ограничение может быть решено и улучшено в их следующих исследованиях.

«Расширение на более сложные задачи, такие как резка, прокатывание и распространение, менее тривиально», - написали исследователи в своей статье.«В то время как наша система широко проверяется по разным рецептам, наши эксперименты ограничены одной кухонной средой. Будущая работа попытается измерить пределы возможности обобщения нашей системы перед лицом более широкого спектра кухонной среды».

Больше информации: Huaxiaoyue Wang et al., Мозаика: модульная система для вспомогательного и интерактивного приготовления, Arxiv (2024).Doi: 10.48550/arxiv.2402.18796