Робот шеф-повар учится воссоздавать рецепты из видео о еде

Предоставлено: Кембриджский университет

Исследователи из Кембриджского университета запрограммировали своего робота-шеф-повара с помощью кулинарной книги из восьми простых рецептов салатов. Посмотрев видео, на котором человек демонстрирует один из рецептов, робот смог определить, какой рецепт готовится, и приготовить его.

Кроме того, видеоролики помогли роботу постепенно пополнять свою кулинарную книгу. В конце эксперимента робот самостоятельно придумал рецепт. Результаты, опубликованные в журнале IEEE Access, демонстрируют, как видеоконтент может быть ценным и богатым источником данных для автоматизированного производства продуктов питания и может упростить и удешевить развертывание роботов-поваров.

Роботы-повара были представлены в научной фантастике на протяжении десятилетий, но на самом деле приготовление пищи является сложной проблемой для робота. Несколько коммерческих компаний построили прототипы роботов-поваров, хотя ни один из них в настоящее время не является коммерчески доступным, и они значительно отстают от своих человеческих коллег с точки зрения навыков.

Повара могут изучать новые рецепты посредством наблюдения, будь то наблюдение за приготовлением пищи другим человеком или просмотр видео на YouTube, но программирование робота для приготовления ряда блюд является дорогостоящим и трудоемким.

Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисти и лицо человека-демонстратора. И рецепты, и видео были преобразованы в векторы, и робот выполнял математические операции с векторами, чтобы определить сходство между демонстрацией и вектором.

Правильно идентифицируя ингредиенты и действия человека-повара, робот мог определить, какой из рецептов готовится. Робот мог сделать вывод, что если человек-демонстрант держит нож в одной руке и морковь в другой, морковь будет нарезана.

🔗 Робот, готовящий «салат» после того, как увидел, как его готовит человек. Предоставлено: Кембриджский университет

Из 16 видео, которые робот смотрел, он распознавал правильный рецепт в 93% случаев, хотя детектировалось только 83% действий шеф-повара. Робот также смог обнаружить, что небольшие изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Робот также правильно распознал демонстрацию нового, девятого салата, добавил его в свою кулинарную книгу и приготовил.

«Удивительно, сколько нюансов робот смог обнаружить», — сказал Сохацки. «Эти рецепты не сложны — по сути, это нарезанные фрукты и овощи, но это было действительно эффективно для распознавания, например, того, что два нарезанных яблока и две нарезанные моркови — это тот же рецепт, что и три нарезанных яблока и три нарезанные моркови».

Видеоролики, используемые для обучения робота-шеф-повара, не похожи на видеоролики о еде из социальных сетей, которые полны быстрых нарезок и визуальных эффектов и быстро перемещаются между человеком, готовящим еду, и блюдом, которое он готовит. Например, робот будет изо всех сил пытаться идентифицировать морковь, если человек-демонстрант обхватит ее рукой — чтобы робот идентифицировал морковь, человек-демонстратор должен был поднять морковь так, чтобы робот мог видеть весь овощ.

Оригинал статьи: Grzegorz Sochacki et al, Recognition of Human Chef’s Intentions for Incremental Learning of Cookbook by Robotic Salad Chef, IEEE Access (2023). DOI: 10.1109/ACCESS.2023.3276234 🔗