Новая система захвата движения с роботизированным маркером, которая может улучшить взаимодействие человека и робота

Arucoglide: новый носимый робот для отслеживания позиций и тактичной обратной связи.Маркер ARUCO расположен в конечном эффектном эффекторе, чтобы регулировать его ориентацию, а два вибрационных двигателя обеспечивают тактискую обратную связь для пользователя.Кредит: Alabbas et al.

Системы захвата движения (MOCAP), технологии, которые могут обнаружить и записывать движения людей, животных и объектов, широко используются в различных условиях.Например, они использовались для съемки фильмов, для создания анимации с реалистичными движениями губ и тела, в интерактивных приставках видеоигр или даже для управления роботами.

Исследователи из Института науки и технологий Сколково (SKOLTECH) в России недавно разработали новую систему захвата движения, которая могла бы обеспечить более безопасные и эффективные взаимодействия человека-робот.Эта система, представленная в бумаге, предварительно опубликованной на ARXIV, основана на носимой роботизированной системе и камере для отслеживания движений руки пользователя.

«Эта работа была результатом многолетнего исследования в области взаимодействия человека-робот в лаборатории Intelligent Space Robotics (ISR)»,-сказал Ali Abbas, ключевой исследователь проекта, Али Аббас.«Взаимодействие человека-робота касается совместных задач, в которых принимают участие как люди, так и роботы, поэтому безопасность оператора человека является главным приоритетом в таких приложениях. Работа была построена на предыдущие опыт и технологии, разработанные в нашей лаборатории».

Система MOCAP, представленная этой командой исследователей, черпает вдохновение из двух предыдущих технологий, которые они разработали.Первая-это система под названием Cobotgear, которая использует носимую камеру с 6 добычи для отслеживания движения руки человека.Второй, Cohaptics, использует тактичные (связанные с прикосновениями) обратную связь, чтобы предоставить пользователям информацию об их расстоянии до робота и предупреждают их, когда робот критически близок к ним.

«Одна цель нашей работы-разработать недорогую и простую в установке систему MOCAP, которая обнаруживает и локализует руку пользователя в рабочей среде, используя алгоритм, лежащий в основе функционирования Cobotgear, чтобы избежать столкновений между роботом и пользователемКак они участвуют в совместных задачах », объяснил Аббас.«Предлагаемая система MOCAP основана на зрении. Она использует камеры и компьютерное зрение, чтобы найти уникальный визуальный роботизированный маркер, прикрепленный к руке пользователя (цель для нашей системы MOCAP)».

Общее ограничение систем MOCAP заключается в том, что на них могут отрицательно влиять окклюзии.Другими словами, если визуальный маркер, о котором следует система, частично или полностью скрыт за объектом, система больше не может его отслеживать.Аббас и его коллеги решили учесть это ограничение, снижая риск окклюзии.

«Наша идея состояла в том, чтобы разработать механизм, который мог бы перемещать маркер, гарантируя, что он всегда остается видимым для системы MOCAP», - сказал Аббас.«Наше решение состояло в том, чтобы построить небольшой носимый робот, который будет держать маркер и иметь возможность вращаться».

Система, созданная этой командой исследователей, основана на роботе, которого пользователи должны носить на предплечье.Этот робот перемещает маркер по -разному, следя за тем, чтобы он всегда оставался в области интегрированной камеры.

«Как правило, ретрорефлексивные маркеры MOCAP имеют сферическую форму, потому что размер будет одинаковым, если он будет захвачен камерами с разных точек зрения», - сказал профессор Дмимитри Цецеруку.«С другой стороны, вам нужно разместить многие маркеры на человеческое тело и установить дорогие ИК -камеры, чтобы отменить все видимые объекты, кроме сфер, поэтому системы MOCAP могут стоить сотни тысяч долларов. Мы предложили арукоглид, доступныйи надежное решение для отслеживания движения человеческого тела с недорогой отдельной камерой и даже общения с движением пользователя с тактильными сигналами ».

Робот Arucoglide очень легкий, весит не более, чем простые наручные часы.Это означает, что его можно легко носить пользователи, не вызывая их дискомфорта, роботизированная система имеет уникальный маркер, расположенный камерой, обеспечивая ценную обратную связь, направленную на предотвращение столкновений во время взаимодействия с человеком-роботом.

«Система состоит из трех частей: носимый роботизированный маркер, систему отслеживания и контроллер избегания столкновений», - сказал Аббас.”Носимый робот, который мы назвали Arucoglide, удерживает уникальный визуальный маркер и корректирует ориентацию этого маркера, чтобы обеспечить его видимость камеры и рассмотреть окклюзии объектами в окружающей среде. Робот также может обеспечить тактичную обратную связь в виде вибрации вСобытие опасной ситуации. Мы предположили, что поддержание фиксированной ориентации между камерой и маркером уменьшит моменты, когда маркер не показан из -за движения пользователя ».

Вторым компонентом решения MoCAP команды является система отслеживания, состоящую из камеры и базового компьютера.Камера захватывает прямой поток среды, в которой люди сотрудничают с роботами.Затем этот поток обрабатывается базовым компьютером для извлечения координат маркера в среде.

«Третий компонент, контроллер избегания столкновений, впервые был введен в рамках нашей ранее разработанной системы коботгера», - сказал Аббас.«Этот контроллер управляет движением робота, чтобы избежать потенциальных столкновений с рукой пользователя в рабочем пространстве».

По сути, система команды работает следующим образом.Камера записывает среду, в которой люди и роботы сотрудничают.Робот Aucoglide регулирует ориентацию маркера, используемого для отслеживания движений, гарантируя, что он всегда остается в поле зрения камеры.Наконец, контроллер столкновений перемещает робота, чтобы он не обращался к его контактам с пользователями.

«Вкратце, маркер скользит в космосе с 2-до роботом, чтобы получить непрерывное захват движения тела»,-объяснил Цетеруку.«Если маркер является статичным, то есть он не регулирует положение в пространстве, система отслеживания потеряет его под очень крутым или неглубоким углом по отношению к камере. Она не применима, когда безопасность людей является главным приоритетом. ”

Исследователи оценили арукоглид в серии экспериментов, проверяя точность своей системы отслеживания, как система влияет на поведение людей и роботов непосредственно перед неизбежным столкновением, ее производительность во время совместной задачи в реальном мире.Они обнаружили, что это значительно улучшило безопасность взаимодействий робота-человеков, сохраняя увеличение расстояния между рукой пользователя и роботом в среднем до 5 см.

Система может оказаться эффективной для улучшения сотрудничества человека-робот в различных реальных условиях.Например, это может помочь медицинскому персоналу, который пипетирует образцы крови.

«Когда человеческая рука приближается к роботу, наша система может обнаружить ее и активировать алгоритм предотвращения столкновений, чтобы робот не повредил пользователя, - сказал Цецеруку, - эксперименты доказали точность подпредникового отслеживания рук вШирокий диапазон движения. Важно, что система с движущимися маркерами ARUCO и тактильной обратной связью ускоряет общий процесс медицинского испытания до 16%».

Примечательно, что система MOCAP команды также может быть адаптирована для удовлетворения потребностей конкретных приложений.Например, если пользователи хотят изменить среду, она контролирует, им просто нужно перенести камеру отслеживания движения в желаемое место и перезапустить систему.

«Система предназначена для использования в общей рабочей среде, напоминающей типичные виды деятельности, обнаруженные на складах или лабораториях», - сказал Аббас.«Например, он может быть установлен в лаборатории, где роботизированная рука может присоединиться к химику при подготовке некоторых решений, ускорения процесса и защиты пользователя от воздействия токсичных веществ», - сказал Аббас.

“Наверняка внимание химика сосредоточено на материалах, поэтому наша система, контролирующая рабочую среду, всегда может найти руку химика и попытаться избежать столкновения робота с ней. Арукоглид очень подходит из-за его экономической эффективности и легкостью.Установки; пользователю просто нужно исправить камеру в подходящем месте, чтобы обнаружить рабочую среду, носить арукоглид, а затем начать работать ».

Арукоглид вскоре может быть реализован и протестирован в более широком диапазоне сценариев, чтобы подтвердить его потенциал для улучшения взаимодействия человека-робот.В своих следующих работах Аббас, Церсереку и их коллеги хотели бы разработать его дальше, чтобы обеспечить отслеживание всего тела пользователя.

«Мы планируем разработать GlideIt, систему, в которой роботизированные маркеры помещаются на все тело: руки, руки, ноги и туловище», - сказал Цецеруку.«Маркеры Aruco будут синхронно двигаться на человеческом организме, чтобы поддерживать нормальную с помощью оптической оси камеры».

Эта обновленная версия Arucoglide может быть использована для отслеживания скелета пользователя в режиме реального времени с использованием одной камеры.Кроме того, он может поддерживать приложения дополненной реальности (AR), например, позволяя пользователям визуализировать органы или мышцы внутри человека или увидеть, как будут выглядеть различные предметы одежды на их тело.

«Представьте, что снимаете видео с движущимся человеком, держащим виртуальных 3D птиц в режиме реального времени»,-сказал Цетеруку.”Арукоглид можно использовать не только для людей, но и для роботов. Поместите на вершине дронов, и только одна камера на потолке мы можем отслеживать рой роботов и контролировать их формирование для световых шоу. Другое увлекательное приложение - танецПреподавание и реабилитация, когда мы направляем человека с тактильной обратной связью, чтобы получить желательную траекторию конечностей в 3D среде ».

Больше информации: Али Алаббас и др., Arucoglide: новый носимый робот для отслеживания позиций и тактичной обратной связи, чтобы повысить безопасность во время взаимодействия человека-робот, Arxiv (2023).Doi: 10.48550/arxiv.2307.08363