Надежная носимая система для распознавания движений пальцев в режиме реального времени

Фотография экологически чистых датчиков, отвечающих свету, прикрепленной к верхней (оси x) и стороне (ось Y) указательного пальца на графической бумаге 25 см2.Кредит: Чо и др., Природная электроника (2023).Doi: 10.1038/s41928-023-01012-z

Устройства, которые могут обнаружить, отслеживать и декодировать движения в их окружении, могут иметь бесчисленные ценные приложения в области, от робототехники до здравоохранения, индустрии развлечений, спорта и многого другого.Носимые датчики могут быть особенно эффективны для обнаружения и записи движений человеческих пользователей, так как они могут быть стратегически размещены и могут с большей точностью поднять более тонкие движения.

Исследователи из Университета Ажу, Корейского университета и Кореиского института науки и технологий (KU-Kist) недавно разработали новую систему, которая может распознавать движения пальцев пользователя человека в режиме реального времени.Их предложенное устройство, представленное в природе электроники, основано на носимых датчике и массиве так называемых искусственных синапсов (то есть аппаратных компонентов, которые повторяют функцию синапсов в мозге).

«Эволюция интерфейсов человека-машины движется к более беспроблемной интеграции с нашей повседневной жизнью»,-сказал Tech Xplore Park.«В идеале, мы бы взаимодействовали с технологиями, даже не осознавая этого. Одним из ключевых способов достижения этого является то, что позволяет машинам распознавать естественные человеческие движения, особенно сложные действия, такие как движения пальцев. Такое признание не просто новизны, но и глубокоПоследствия для таких областей, как робототехника, здравоохранение и общение ».

Несмотря на недавние достижения в разработке систем для распознавания носимых движений, многие из предложенных решений до сих пор не достигают оптимальных результатов.Совсем недавно разработанные системы распознавания человеческих движений полагаются на два или более стационарных устройства, такие как 3D -камеры глубины, инфракрасные камеры и инерционные измерительные единицы.

«Типы настройки непреднамеренно затрудняют те самые естественные движения, которые они стремятся узнать»,-объяснил профессор Гунук Ван (Ku-Kist).«Кроме того, их основные алгоритмы являются ресурсными, как с точки зрения времени, так и энергии, главным образом потому, что им необходимо отличать пальцы от других объектов, а затем отслеживать свои движения в течение последовательных временных рам.. ”

Опираясь на свои предыдущие исследовательские усилия, профессор Парк, Ван и их коллеги решили разработать «неограниченную» систему распознавания движения, которая может надежно обнаружить и распознавать движения индивидуальных пальцев пользователя.Для этого они интегрировали широко используемые оптические датчики с искусственными синапсами на очень тонкий субстрат, который имел толщину около 2 микрометров (то есть около 1/20 диаметра волос человека).

«Генезис этой идеи произошел из двух ключевых работ», - сказал профессор Парк.«Во-первых, моя предыдущая работа по высокочувствительной и сверхгибкой органической фотоэлектрической фотоэлектрической фотоэлексии для самостоятельных датчиков ЭКГ, в то время как второе-это развитие синаптических устройств Гюнука Ванга с надежной, стабильной работой в течение длительных периодов».

Система распознавания движения исследователей имеет два основных компонента, а именно оптический датчик (датчики органической близости) и так называемое синаптическое устройство.Осторожно поместив эти два компонента на очень тонкий субстрат, команда смогла создать устройство, которое легко носить поверх кожи, а также адаптироваться к складкам, которые естественным образом образуются на коже, в то время как люди движутся.

Этот уникальный дизайн позволяет пользователям так свободно двигаться, как они хотят в своем окружении, в то время как система записывает и распознает их движения.Система достигает распознавания движения пальцев, выполняя три различных шага: захват движения, преобразование сигнала и обучение/распознавание.

«При ношении датчика пользователи могут рисовать узоры в воздухе (для наших демонстраций мы использовали цифры от 0 до 9)», - объяснил профессор Парк.”Это захватывается оптическим датчиком, расположенным на вершине и стороне указательного пальца.Вдоль горизонтальных (оси x) и вертикальных (оси y) плоскостей. По мере того, как оптический датчик становится ближе или дальше от света, он генерирует различные схемы напряжения ».

В качестве второго шага система команды переводит свет, запечатленный его датчиком движения в электрический сигнал в режиме реального времени.Полученные уникальные схемы напряжения, полученные из движений пальцев, затем преобразуются в цифровые изображения, представляющие величину напряжения.Наконец, эти цифровые изображения подаются на синаптическое устройство, которое продолжает предсказать движения пальца пользователя, запустив алгоритм машинного обучения.

«Этот компонент является ключевым для обучения и распознавания шаблонов», - сказал профессор Ван.«Он корректирует и обновляет синаптические веса (W) на основе ввода, с его способностью изменять и поддерживать проводимость, играя важную роль. По сути, более выраженное входное напряжение приводит к более значительному изменению проводимости, которое поддерживается для конкретногоПродолжительность. Со временем устройство обучено распознавать шаблоны для чисел от 0 до 9, что делает его способным идентифицировать новые, случайные паттерны, основанные на синаптических весах, которые он изучил ».

В отличие от многих других систем распознавания движения, введенных в прошлом, система исследователей более надежна, долговечна и точна в своих прогнозах.Примечательно, что их устройство может переносить штаммы до 60% и может сохранить свое функционирование после того, как оно неоднократно сгибается более 1200 раз.

Система также работает в плохих условиях освещения, в том числе в среде с дефицитным освещением или в моменты дня, когда света мало.При первоначальных оценках он достиг замечательной точки зрения до 95%, что прогнозировало движения пальцев людей -пользователей гораздо лучше, чем бесчисленные другие решения, представленные в прошлом.

«Мы добились значительных успехов в пересечении нейроморфных вычислений и носимых устройств», - сказал профессор Парк.«Синергизируя датчику и синаптическое устройство на необычайно податливый субстрат, мы разработали систему, которая не только слияет с пользователем, но и демонстрирует выдающееся вычислительное мастерство. Это характеризуется пониженными потребностями в мощности, повышенной точностью и похвальной устойчивостью - устойчивостькак механически, так и электрически “.

В будущем новая система обнаружения пальцев, представленная этой группой исследователей, может быть реализована и проверена в различных условиях, которые могут извлечь выгоду из надежного мониторинга человеческих движений.Его базовый дизайн также может вдохновить на дальнейшие усилия в этой области, что приведет к разработке новых современных технологий отслеживания и распознавания движения.

«Помимо простого движения пальцев, эта технология может быть адаптирована для распознавания других телесных движений», - сказал профессор Парк.”Кроме того, его последствиями являются далеко идущие, охватывающие разнообразные сектора, включая робототехнику, где это может облегчить точные взаимодействия человека и иминТехнология, где она может помочь разработке более удобных и адаптируемых устройств; и сферы дополненной и виртуальной реальности, где это может помочь создать более захватывающий и натуралистический опыт ».

В своих нынешних и предстоящих исследованиях профессор Парк и его коллеги планируют продолжать работать над своим устройством, чтобы продвигать свои возможности и производительность.Кроме того, они хотели бы использовать свой дизайн для создания новых технологий, которые можно использовать для интерпретации других движений тела и физиологических сигналов.

«Наша недавняя работа была сосредоточена на создании коже, конформируемой системой, специально предназначенной для распознавания движения пальцев в реальном времени, достигнутой путем объединения оптического датчика и искусственного синапса на исключительно податливый субстрат»,-добавил профессор Парк.

«Потенциал этой платформы здесь не заканчивается.Наш интерес; его потенциал для оценки других жизненно важных показателей, таких как уровень кислорода в крови или сердцебиение, является интригующим. По сути, это подчеркивает обширную адаптивность нашей системы в разных приложениях ».

Больше информации: Haein Cho и др.Doi: 10.1038/s41928-023-01012-z