Сделать AI умнее с искусственным, мультисенсорным интегрированным нейроном

Исследовательская группа Penn State разработала искусственный нейрон, вдохновленный биографией, который может вместе обрабатывать визуальные и тактильные сенсорные входы.Кредит: Тайлер Хендерсон/Пенн Стейт

Во главе с Саптарши Дасом, доцентом инженерных наук и механиков в штате Пенсильвания, команда опубликовала свои работы 15 сентября в области природы.

«Роботы принимают решения на основе окружающей среды, в которой они находятся, но их датчики обычно не разговаривают друг с другом», - сказал Дас, у которого также есть совместные встречи в области электротехники и в области материаловедения и техники.«Коллективное решение может быть принято через подразделение обработки датчика, но является ли это наиболее эффективным или эффективным методом? В человеческом мозге один смысл может повлиять на другой и позволить человеку лучше судить о ситуации».

Например, у автомобиля может быть одно датчическое сканирование для препятствий, в то время как другой чувствует тьму, чтобы модулировать интенсивность фар.Индивидуально эти датчики передают информацию в центральном блоке, который затем дает возможность автомобилю тормозить или регулировать фары.Согласно DAS, этот процесс потребляет больше энергии.Разрешение датчиков напрямую общаться друг с другом может быть более эффективным с точки зрения энергии и скорости, особенно когда входные данные оба являются слабыми.

«Биология позволяет небольшим организмам процветать в средах с ограниченными ресурсами, минимизируя потребление энергии в процессе», - сказал Дас, который также связан с Институтом исследований материалов.«Требования к различным датчикам основаны на контексте - в темном лесу, вы больше полагаетесь на слушание, чем на то, чтобы увидеть, но мы не принимаем решения, основанные только на одном смысле. У нас полное чувство нашего окружения иНаше принятие решений основано на интеграции того, что мы видим, слушаем, трогаем, пахнут и т. Д.Мозги на самом деле работают ».

Команда сосредоточилась на интеграции тактильного датчика и визуального датчика, чтобы выход одного датчика модифицировал другой с помощью визуальной памяти.По словам Мухтасима Уль Карима Садафа, докторанта третьего курса по инженерной науке и механикам, даже недолговечная вспышка света может значительно повысить вероятность успешного движения через темную комнату.

«Это потому, что визуальная память может впоследствии влиять и помочь тактильным ответам на навигацию», - сказал Садаф.”Это было бы невозможно, если бы наша визуальная и тактильная кора была отвечать только на их соответствующие унимодальные сигналы. У нас есть эффект фото памяти, где свет светит, и мы можем помнить. Мы включили эту способность в устройство через транзистор, который обеспечиваеттот же ответ. ”

Исследователи изготовили мультисенсорный нейрон, соединив тактильный датчик с фототранзистором на основе монослоя дисульфида молибдена, соединения, которое демонстрирует уникальные электрические и оптические характеристики, полезные для обнаружения света и поддерживающих транзисторов.Датчик генерирует электрические шипы таким образом, напоминающего информацию о нейронах, что позволяет интегрировать как визуальные, так и тактильные сигналы.

Это эквивалентно видеть «на плите» на плите и ощущение тепла, исходящего от горелки - посмотрите на свет, на котором не обязательно означает, что горелка еще горячая, но рука должна почувствовать только наносекунду до тепла.Тело реагирует и отталкивает руку от потенциальной опасности.Ввод сигналов света и тепла, которые вызывали реакцию руки.В этом случае исследователи измерили версию искусственного нейрона об этом, увидев сигнальные выходы, возникшие в результате визуальных и тактильных входных сигналов.

Для имитации сенсорного входа тактильный датчик использовал трибуэлектрический эффект, при котором два слоя скользят друг к другу, чтобы произвести электричество, что означает, что сенсорные стимулы были кодированы в электрические импульсы.Для моделирования визуального ввода исследователи пролили свет в монослойное молибденовое дисульфидное фото Мемтрансастор - или транзистор, который может запомнить визуальный ввод, например, как человек может удерживать общую компоновку комнаты после быстрого вспышки.

Они обнаружили, что сенсорный отклик нейрона, продуманного как электрический выход, вызванный, когда визуальные и тактильные сигналы были слабыми.

«Интересно, что этот эффект удивительно хорошо резонирует с его биологическим аналогом-визуальная память, естественно, повышает чувствительность к тактильному стимулу»,-сказал автор сопоставления Наджам У Сакиб, докторант третьего курса по инженерной науке и механикам.«Когда сигналы слабы, вам нужно объединить их, чтобы лучше понять информацию, и это то, что мы видели в результатах».

Дас объяснил, что искусственная многосенсорная нейронная система может повысить эффективность сенсорной технологии, проложив путь для более экологически чистых использования ИИ.В результате роботы, беспилотники и самостоятельные транспортные средства могут более эффективно ориентироваться в окружающей среде, используя меньше энергии.

«Супер аддитивное суммирование слабых визуальных и тактильных сигналов является ключевым достижением нашего исследования»,-сказал соавтор Эндрю Панноне, докторский студент четвертого курса по инженерной науке и механикам.«Для этой работы мы изучили только два чувства. Мы работаем над тем, чтобы определить правильный сценарий, чтобы включить больше чувств и посмотреть, какие преимущества они могут предложить».

Харикришнан Равичандран, студент докторантов в области инженерных наук и механиков в штате Пенсильвания, также в соавторстве.

Больше информации: Muhtasim ul Karim Sadaf et al., Биографический визуотактильный нейрон для мультисенсорной интеграции, природная связь (2023).Doi: 10.1038/s41467-023-40686-z