Биографический датчик зрения, который может обнаружить спектрально отличительные особенности

Спектральный датчик зрения для визуализации и классификации спектрально отличительных особенностей.аСхематическая иллюстрация сценария применения датчиков видения спектра.B, операционная схема системы видения спектра.Панели (i) и (ii) демонстрируют визуализацию типичных функций типа I и II типа II с помощью датчика зрения, адаптированного спектра, а панель (III) показывает архитектуру двухканальной искусственной нейронной сети.C, Точность распознавания 10 классов в двух типах спектрально отличительных особенностей.Кредит: Природа Электроника (2024).Doi: 10.1038/s41928-024-01208-x.

Способность обнаружить объекты в условиях с неблагоприятным освещением, например, ночью, в затененных местах или в туманных условиях, может значительно повысить надежность автономных транспортных средств и мобильных роботизированных систем.Однако было обнаружено, что наиболее широко используемые методы компьютерного зрения работают под плохим освещением.

Исследователи из Гонконгского политехнического университета недавно представили новый био-вдохновленный датчик зрения, который может адаптироваться к спектральным характеристикам среды, которые он захватывает, тем самым успешно обнаруживая объекты в более широком диапазоне условий освещения.Этот недавно разработанный датчик, представленный в статье, опубликованной в Nature Electronics, основан на массиве фотодиодов, расположенных обратно к спине.

«В предыдущей статье в природе электроника мы представили простой подход к адаптации интенсивности света в сенсорной интенсивности для повышения точности распознавания систем машинного зрения»,-сказал Tech Xplore Bangsen Ouyang, соавтор статьи.

«Опираясь на наши прошлые исследования, мы расширили эту стратегию от измерения интенсивности до спектра измерения света».

Основной целью этой недавней работы Ouyang и их коллег было разработать датчик зрения, который лучше, чем другие датчики, распознавая объекты в среде, отмеченную сильными световыми помехами и когда в воздухе есть дым или туман.Датчик, который они планировали разработать, также собирает данные с минимальной задержкой времени, потребляя очень небольшую мощность.

«Мы стремились достичь этого, не полагаясь на оптические аксессуары или комплексные ресурсы алгоритма, которые могут увеличить системную массу, энергопотребление и задержку времени», - пояснил Оуян.«Датчик зрения, который мы спроектировали, основан на фотодиодах, которые состоят из переключаемых соединений с различной спектральной чувствительностью.

«В частности, мелкий соединение состоит из TiO2/SB2SE3, в то время как глубокий соединение состоит из SB2SE3/SI. Выбор этих двух соединений может контролироваться с помощью внешнего напряжения смещения».

Выбор мелкого соединения в датчике повышает чувствительность датчика к коротковолновому свету, в то же время выбор глубокого соединения повышает его чувствительность к длинному свету.Таким образом, уникальная конструкция датчика позволяет регулировать его фотодиоды, чтобы соответствовать либо широкополосному видимому спектру, либо узкополосному спектру вблизи инфракрасных.

«Процесс адаптации спектров занимает десятки микросекунд, что сопоставимо с частотой кадров (около 100 кГц) в современных высокоскоростных камерах»,-сказал Оуян.«Эта спектральная адаптация эффективно увеличивает контраст сцены Вебера, что приводит к улучшению точности распознавания функций при воздействии интенсивного взгляда видимого света».

В первоначальных тестах подход в спектральной адаптации в сенсорной спектрации, введенный Оуяном и его коллегами, достиг высокообладающих результатов.При применении к системе зрения автономного транспортного средства, было обнаружено, что подход обеспечивает анти-блестящие возможности с низкой задержкой времени и низким энергопотреблением, не требуя дополнительных оптических аксессуаров или сложных вычислительных алгоритмов.

«Наше исследование вводит инновационную технологию спектральной адаптации в сенсорной спектрации»,-сказал Оуян.”Процесс адаптации спектров очень быстрый, что сопоставимо с частотой кадров (около 100 кГц) в современных высокоскоростных камерах. Практические последствия этого подхода в спектральной адаптации в сенсорном спектральномЭто устраняет необходимость в оптических аксессуарах или сложных ресурсах алгоритма ».

Новый сенсор, разработанный этой командой исследователей, может продвигать возможности роботизированных систем, специально улучшая их способность распознавать объекты в различных условиях освещения без увеличения их потребления власти.Датчик может быть интегрирован в широкий спектр технологий, включая автономные транспортные средства, медицинские устройства, промышленные или производственные роботы и системы наблюдения.

«Наши будущие планы исследований в этой области включают повышение производительности датчика зрения с точки зрения чувствительности, динамического диапазона, скорости отклика и других ключевых факторов», - добавил Оуян.«Мы также заинтересованы в изучении интеграции дополнительных функций зондирования в датчиках зрения, таких как поляризация и 3D -глубина.

«Наконец, наши следующие исследования будут сосредоточены на изготовлении крупномасштабного массива этих датчиков зрения, а также соответствующих периферических цепей и программного обеспечения для разработки зрелого чипа искусственного зрения для практических применений».

More information: Bangsen Ouyang et al, Bioinspired in-sensor spectral adaptation for perceiving spectrally distinctive features, Nature Electronics (2024). DOI: 10.1038/s41928-024-01208-x.

© 2024 Science X Network