Фотонный чип интегрирует зондирование и вычисления для сверхбыстенного машинного зрения

Исследователи разработали новый интеллектуальный чип с фотонными зондированием, который может обрабатывать, передавать и реконструировать изображения сцены в наносекундах.Кредит: Вей У, Университет Цинхуа

Edge Computing, которая выполняет интенсивные вычислительные задачи, такие как обработка изображений и анализ на локальных устройствах, превращается в интеллект Edge, добавляя анализ и принятие решений, управляемый искусственным интеллектом (AI).

«Захват, обработка и анализ изображений на основе краев, таких как автономное вождение, в настоящее время ограничено скоростями на уровне миллисекунды из-за необходимости оптических в электронных конверсий»,-сказал руководитель исследовательской группы Лу Фанг из Университета Цинхуа в Китае.

«Наш новый чип может выполнять все эти процессы только в наносекундах, сохраняя их все в оптическом домене. Это может быть использовано для значительного улучшения или даже замены традиционной архитектуры приобретения датчиков, за которым следует пост-обработка искусственного интеллекта».

В Optica исследователи описывают новый чип, который они называют оптическим параллельным чипом вычислительного массива (OPCA).Они показывают, что OPCA имеет пропускную способность обработки до сто миллиардов пикселей и время отклика всего в 6 наносекунд, что примерно на шесть порядков меньше, чем текущие методы.Они также использовали чип для создания оптической нейронной сети, которая объединяет восприятие изображения, вычисление и реконструкцию.

«Чип и оптическая нейронная сеть могут повысить эффективность обработки сложных сцен в промышленных инспекции и помочь продвинуть интеллектуальную робот-технологию до более высокого уровня когнитивного интеллекта»,-сказал Вэй Ву, сопоставский автор статьи.«Мы думаем, что это также может произвести революцию в сфере сетки».

Устранение оптических в электрические преобразования

Machine Vision, в котором используются камеры, датчики изображений, алгоритмы освещения и компьютера для захвата, обработки и анализа изображений для конкретных задач, традиционно включает преобразование оптической информации в цифровые электрические сигналы с использованием датчиков.Эти сигналы затем передаются по оптическим волокнам для передачи данных на дальние расстояния и нижестоящих задач.

Тем не менее, частое преобразование между оптическими и электрическими сигналами наряду с ограниченными достижениями в электронных процессорах стало серьезным ограничением на улучшение скорости и обработки способности машинного зрения.

«Мир вступает в эпоху ИИ, но ИИ очень временный и энергия»,- сказал Фанг.«Между тем, рост устройств Edge, таких как смартфоны, интеллектуальные автомобили и ноутбуки, привел к взрывному росту данных изображений, которые будут обработаны, переданы и отображаются. Мы работаем над продвижением машинного зрения путем интеграции зондирования и вычислений в оптическую область, мы работаем.что особенно важно для краевых вычислений и для обеспечения более устойчивых приложений ИИ ».

Задача в выполнении как сбора изображений, так и анализа на одном и том же чипе в оптическом домене заключается в поиске способа преобразования пространственного света свободного пространства, используемого для визуализации в световую волну на чипе.

Исследователи достигли этого, разработав чип, который состоит из массива выделенных рисованных кольцевых резонаторов, которые преобразуют изображение оптической интенсивности свободного пространства-2D-представление интенсивности света сцены-в когерентный световой сигнал, который затем может руководствоватьсяна чипе.Микропользовый массив усиливает процесс, фокусируя сцену на чипе Opca.

Создание всеоптического соединения ввода-вывода

Архитектура чипа позволила исследователям создать сквозную многоволновую оптическую нейронную сеть, чтобы соединить модулированный свет в оптическом волноводе с большой полосой пропускания, где модулированный свет соединяется спектрально.Мультиспектральные оптические выходы могут затем использоваться для классификационных задач или для создания полностью оптической реконструкции изображения.

«Поскольку каждый элемент выпуска для восприятия этого чипа реконфигурируется, каждый из них может работать как программируемый нейрон, который генерирует выход световой модуляции на основе ввода и веса»,-сказал Фанг.

«Нейронная сеть соединяет все нейроны, выпускающие чувствительность с одним волноводом, облегчая всеоптическое полное соединение между входной информацией и выводом».

Чтобы продемонстрировать возможности чипа OPCA, исследователи показали, что его можно использовать для классификации рукописного изображения и для выполнения свертки изображения, процесса, который применяет фильтр к изображению для извлечения функций.Результаты показали, что архитектура чипа может эффективно завершить сжатие информации и реконструкцию сцены, что указывает на ее потенциал для широко распространенных приложений.

Исследователи в настоящее время работают над улучшением чипа OPCA, выпускающего чувствительность для дальнейшего повышения производительности вычислительной техники, а также более тесно связаны с реальными сценариями и оптимизированы для приложений с помощью Edge Computing.

Исследователи говорят, что для практического использования оптическая нейронная сеть должна быть увеличена, чтобы эффективно обрабатывать все более сложные и реалистичные интеллектуальные задачи.Форм -фактор чипа OPCA и общего форм -фактора также необходимо минимизировать.

«Мы надеемся, что машинное зрение будет постепенно улучшено, чтобы быть быстрее и более энергоэффективным, используя свет для выполнения как зондирования, так и вычислений»,-сказал Фанг.

«Несмотря на то, что сегодняшний подход вряд ли будет полностью заменен, мы ожидаем, что метод скомпьютирования чувствительности найдет свою нишу в Edge Computing, где он может привести к широкому диапазону многообещающих приложений».

More information: Wei Wu et al, A parallel photonic chip for nano-second end-to-end image processing, transmission, and reconstruction, Optica (2024). DOI: 10.1364/OPTICA.516241. opg.optica.org/optica/abstract … 0.1364/OPTICA.516241