Первая физическая система для изучения нелинейных задач без традиционной компьютерной обработки

Сэм Диллаву, постдок в исследовательской группе Дуриан в Школе искусств и наук, создал компоненты этой контрастной локальной сети обучения, аналоговой системы, которая является быстрой, низкой мощностью, масштабируемой и способной изучать нелинейные задачи.Кредит: Эрика Мозер

Электрическая сеть, которую ранее разрабатывали физики и инженерные исследователи из Университета Пенсильвании, более масштабируем, потому что ошибки не составляют так же, как растет размер системы, но она сильно ограничена, поскольку может только изучать линейные задачи, те, которыес простым отношением между входом и выводом.

Теперь исследователи создали аналоговую систему, которая является быстрой, низкой мощностью, масштабируемой и способной изучать более сложные задачи, в том числе «эксклюзивные или» отношения (XOR) и нелинейную регрессию.Это называется контрастной локальной учебной сетью;Компоненты развиваются сами по себе, основываясь на местных правилах без знания более широкой структуры.

Профессор физики Дуглас Дж. Дуриан сравнивает его с тем, как нейроны в человеческом мозге не знают, что делают другие нейроны, и все же появляется обучение.

«В смысле машинного обучения он может научиться выполнять полезные задачи, аналогичные вычислительной нейронной сети, но это физический объект», - говорит физик Сэм Диллаву, постдок в исследовательской группе Дуриан и первым автором в статье оСистема, опубликованная в процессах Национальной академии наук.

«Одна из вещей, которые мы действительно волнуют, - это то, что, поскольку он не знает структуры сети, это очень терпимо к ошибкам, он очень устойчив к тому, чтобы быть сделанным по -разному, и мы думаем, что это много открываетсявозможностей для масштабирования этих вещей », - говорит профессор инженерного инженера Марк З. Мискин.

«Я думаю, что это идеальная модельная система, которую мы можем изучить, чтобы понять все виды проблем, включая биологические проблемы», - говорит профессор физики Андреа Дж. Лю.Она также говорит, что это может быть полезно при взаимодействии с устройствами, которые собирают данные, которые требуют обработки, такими как камеры и микрофоны.

В статье авторы говорят, что их система самообучения «предоставляет уникальную возможность для изучения возникающего обучения. По сравнению с биологическими системами, включая мозг, наша система опирается на более простую, хорошо понятную динамику, точно обучаем и использует простуюмодульные компоненты “.

Это исследование основано на связанной структуре обучения, которую разработали Liu и Postdoc Menachem (NACHI) Стерн, опубликовав свои выводы в 2021 году. В этой парадигме физическая система, которая не предназначена для выполнения определенной задачи, адаптируется к прикладным входам, чтобы узнать задачу, при использовании локальных правил обучения и никакого централизованного процессора.

Диллаву говорит, что он приехал в Пенн специально для этого проекта, и он работал над переводом структуры с работы по моделированию в работу в его текущем физическом дизайне, который можно сделать с использованием стандартных компонентов схемы.

«Одна из самых безумных частей в этом - это то, что на самом деле учится самостоятельно; мы просто настраиваем ее на то, чтобы уйти», - говорит Диллаву.Исследователи питаются только в напряжениях в качестве входа, а затем транзисторы, которые соединяют узлы, обновляют свои свойства на основе сопряженного правила обучения.

«Поскольку то, как он вычисляет и учится, основано на физике, это гораздо более интерпретируется», - говорит Мискин.«На самом деле вы можете выяснить, что он пытается сделать, потому что у вас есть хорошая работа в основном механизме. Это уникально, потому что многие другие системы обучения - это черные ящики, где гораздо сложнее знать, почему сеть сделала то, что делала.”

Дуриан говорит, что он надеется, что это «начало огромного поля», отмечая, что другой постдок в своей лаборатории, Лорен Альтман, строит механические версии контрастных местных учебных сетей.

Исследователи в настоящее время работают над расширением дизайна, и Лю говорит, что существует множество вопросов о продолжительности хранения памяти, эффектах шума, лучшей архитектуре для сети и есть ли лучшие формы нелинейности.

«Не совсем ясно, что меняет, когда мы увеличиваем систему обучения», - говорит Мискин.

«Если вы думаете о мозге, существует огромный разрыв между червями с 300 нейронами и человеком, и не очевидно, где появляются эти возможности, как все меняется при масштабировании.Больше, больше и больше - это возможность фактически изучить это ».

More information: Sam Dillavou et al, Machine learning without a processor: Emergent learning in a nonlinear analog network, Proceedings of the National Academy of Sciences (2024). DOI: 10.1073/pnas.2319718121