Новая модель, которая позволяет роботам повторно идентифицировать и следовать за пользователями.

Трубопровод восприятия: (а) приобретение изображения RGB и глубины;(б) обнаружение человека через Йолакт ++ (см. Раздел III-A);(c) человек, повторный человек, используя глубокую нейронную сеть и человеческие особенности расстояния;(d) локализация человека с использованием облака точек и восстановленной маски для человека;(e) Обнаружение жестов для отправки команд роботу.Кредит: Rollo et al.

В последние годы роботисты и компьютерные ученые ввели различные новые вычислительные инструменты, которые могли бы улучшить взаимодействие между роботами и людьми в реальных условиях.Чрезмерная цель этих инструментов состоит в том, чтобы сделать роботов более отзывчивыми и настроить пользователей, которых они помогают, что, в свою очередь, может способствовать их широко распространенному принятию.

Исследователи из Leonardo Labs и Итальянского технологического института (IIT) в Италии недавно представили новую вычислительную структуру, которая позволяет роботам распознавать конкретных пользователей и следить за ними в данной среде.Эта структура, представленная в статье, опубликованной в рамках Международной конференции IEEE IEEE 2023 года о передовой робототехнике и ее социальных последствиях (ARSO), позволяет роботам повторно идентифицировать пользователей в своем окружении, а также выполнять конкретные действия в ответ на ручные жесты, выполняемыепользователи.

«Мы стремились создать новаторскую демонстрацию, чтобы привлечь заинтересованные стороны в наши лаборатории»,-сказал Tech Xplore, один из исследователей, который проводил исследование, Федерико Ролло Ролло.”Робот, посвященный личному лицу, является распространенным применением, обнаруженным во многих коммерческих мобильных роботах, особенно в промышленных условиях или для помощи людям. Как правило, такие алгоритмы используют внешние Bluetooth или Wi-Fi-излучение, которые могут мешать другим датчикам, и пользователь требуется пользователь.нести.”

Ключевой целью недавней работы Ролло и его коллег было создать модель повторного идентификации, которая может распознавать конкретные цели на изображениях, записанных камерой RGB.Камеры RGB являются одними из наиболее используемых датчиков в области робототехники, поэтому их очень легко найти и интегрировать с существующими роботизированными системами.

«Разработанный нами модуль повторной идентификации включает два последовательных шага: этап калибровки и этап повторной идентификации»,-пояснил Ролло.

«На этапе калибровки целевому человеку просят случайным образом перемещаться перед роботом. На этом этапе робот использует нейронную сеть для обнаружения человека и изучения своего появления в форме сетевых вторжений (подумайте о абстрактном вектореПредставляя особенности человека). Эти встраивания затем используются для создания статистической модели, которая представляет цель ».

На втором этапе его обработки модуль, созданный исследователями, восстанавливает цели, в то время как они естественным образом движутся в своем окружении.Структура достигает этого, анализируя изображения, полученные одной или несколькими камерами RGB, обнаружая людей на этих изображениях, вычисляя их функции и сравнивая эти функции с описанными в модели целевого пользователя, созданного на этапе калибровки.

«Если определенные функции статистически соответствуют модели, человек с этими функциями выбирается в качестве цели», - сказал Ролло.«Эта информация затем отправляется в модуль локализации, который вычисляет трехмерную позицию целевого пользователя и отправляет команды скорости в робот, чтобы перейти к нему/ей. Кроме того, приложение включает в себя модуль обнаружения жестов».

Модель обнаружения жестов, созданная Rollo и его коллегами, обнаруживает конкретные жесты для рук целевого пользователя и отправляет команды роботу, выровненные с этими жестами.Например, если пользователь ставит открытую руку перед поле зрения робота, это запускает команду Stop, инструктируя робота остановиться.Наоборот, если пользователь представляет закрытую руку, робот начнет работать снова.

До сих пор исследователи проверили свою структуру в серии экспериментов с использованием робота Robotnik RB-Kairos+.Это мобильный роботизированный манипулятор, предназначенный для того, чтобы в основном вводить в промышленные среды, такие как склады и производственные площадки.

«Модуль повторной идентификации продемонстрировал замечательную надежность во время тестирования, даже в переполненных областях»,-сказал Ролло.«Это надежное поведение открывает различные практические применения. Например, его можно использовать для перемещения объектов с высокой загрузкой в промышленных условиях, направить робота на разные станции в совместной или промышленной среде, или помогают пожилым людям в перемещении своих вещей вдом.”

Новая структура повторной идентификации и обнаружения жестов, разработанная этой группой исследователей, может быть вскоре применять и протестировать в различных сценариях реального мира, которые требуют, чтобы мобильные роботы следили за людьми и автономно транспортируемыми предметами.Однако, прежде чем его можно будет развернуть в больших масштабах, Ролло и его коллеги планируют преодолеть некоторые ограничения модели, выявленной во время их первоначальных экспериментов.

«Одним из заметных ограничений является то, что статистическая модель, полученная на этапе калибровки, остается постоянной во время повторной идентификации»,-добавил Ролло.

«Это означает, что если цель изменяет ее внешний вид, например, на ношении другой одежды, алгоритм не может адаптироваться и требует перекалибровки. Кроме того, существует выраженный интерес к изучению новых подходов для адаптации самой нейронной сети для распознавания целипотенциально использует постоянные методы обучения. Это может улучшить статистическое соответствие между целевой моделью и функциями, извлеченными из изображений RGB, обеспечивая более адаптивную и гибкую систему ».

Больше информации: Federico Rollo et al., Следующие заведения: надежный человек, следующий за рамками, основанной на визуальной повторной идентификации и жестах, 2023 IEEE Международная конференция по передовой робототехнике и ее социальных последствиях (ARSO) (2023).Doi: 10.1109/arso56563.2023.10187536.На arxiv: doi: 10.48550/arxiv.2311.12992