4 мин. чтения
7/8/2023 11:12:37 AM

Новый ИИ алгоритм программирования компьютеров-резервуаров

Featured Image 1 Kim and Bassett

RNN по существу используют рекуррентные соединения между различными процессорами для обработки последовательных данных и составления точных прогнозов. Несмотря на то, что было обнаружено, что RNN хорошо справляются с многочисленными задачами, оптимизация их производительности путем определения параметров, наиболее релевантных задаче, которую они будут решать, может быть сложной и трудоемкой.

Джейсон Ким и Дэни С. Бассетт, два исследователя из Университета Пенсильвании, недавно представили альтернативный подход к проектированию и программированию резервуарных компьютеров на основе RNN, который вдохновлен тем, как языки программирования работают на компьютерном оборудовании. Этот подход, опубликованный в Nature Machine Intelligence, может идентифицировать соответствующие параметры для данной сети, программируя ее вычисления для оптимизации ее производительности по целевым задачам.

«Будь то вычисление подсказки или моделирование нескольких ходов в игре в шахматы, нас всегда интересовало, как мозг представляет и обрабатывает информацию», — сказал Ким. «Мы были вдохновлены успехом рекуррентных нейронных сетей (RNN) как для моделирования динамики мозга, так и для обучения сложным вычислениям. Опираясь на это вдохновение, мы задали простой вопрос: что, если бы мы могли программировать RNN так же, как мы делаем компьютеры? Предыдущие работы в области теории управления, динамических систем и физики сказали нам, что это не было несбыточной мечтой».

Нейронный машинный код, введенный Кимом и Бассеттом, был получен путем декомпиляции внутренних представлений и динамики RNN для управления их анализом входных данных. Их подход напоминает процесс компиляции алгоритма на компьютерном оборудовании.

«В RNN эти операции указываются одновременно в весах, распределенных по сети, и нейроны выполняют операции параллельно и хранят память», — объяснил Ким. «Мы используем математику для определения набора операций (весов соединений), которые будут запускать желаемый алгоритм ( например, решение уравнения, моделирование видеоигры), и для извлечения алгоритма, который выполняется на существующем наборе весов. Уникальные преимущества нашего подхода заключаются в том, что он не требует данных или выборки, и что он определяет не только одну связность, но и пространство шаблонов подключения, которые запускают желаемый алгоритм».

Featured Image2 Игра в понг, которая имитируется рекуррентной нейронной сетью. DOI: 10.1038/s42256-023-00668-8

Исследователи продемонстрировали преимущества своего фреймворка, используя его для разработки RNN для различных приложений, включая виртуальные машины, логические вентили и видеоигру для пинг-понга на базе искусственного интеллекта. Было обнаружено, что все эти алгоритмы работают на удивление хорошо, не требуя проб и ошибок корректировки их параметров.

«Одним из заметных вкладов нашей работы является смена парадигмы в том, как мы понимаем и изучаем RNN, от инструментов обработки данных до полноценных компьютеров», — сказал Ким. «Этот сдвиг означает, что мы можем исследовать обученную RNN и знать, какую проблему она решает, и мы можем проектировать RNN для выполнения задач без обучающих данных или обратного распространения. На практике мы можем инициализировать наши сети с помощью алгоритма, основанного на гипотезах, а не случайных весов или предварительно обученного RNN, и мы можем напрямую извлечь изученную модель из RNN».

Фреймворк программирования и нейронный машинный код, представленные этой командой исследователей, вскоре могут быть использованы другими командами для разработки более производительных RNN и простой настройки их параметров. Ким и Бассетт в конечном итоге надеются в конечном итоге использовать свой фреймворк для создания полноценного программного обеспечения, работающего на нейроморфном оборудовании. В своих следующих исследованиях они также планируют разработать подход к извлечению алгоритмов, изученных обученными компьютерами-резервуарами.

«В то время как нейронные сети исключительны в обработке сложных и многомерных данных, эти сети, как правило, требуют много энергии для работы, и понимание того, что они узнали, является исключительно сложной задачей», — сказал Ким. «Наша работа обеспечивает ступеньку для прямой декомпиляции и перевода обученных весов в явный алгоритм, который может быть запущен гораздо более эффективно без необходимости в RNN и дополнительно изучен для научного понимания и производительности».

Исследовательская группа Бассетта в Университете Пенсильвании также работает над использованием подходов машинного обучения, в частности RNN, для воспроизведения психических процессов и способностей человека. Нейронный машинный код, который они недавно создали, может поддержать их усилия в этой области исследований.

Подробнее: Jason Z. Kim et al, A neural machine code and programming framework for the reservoir computer, Nature Machine Intelligence (2023). DOI: 10.1038/s42256-023-00668-8 🔗

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Самая страшная тайна ИИ

7/31/2023 · 4 мин. чтения

Самая страшная тайна ИИ

Исследователи впервые успешно обучили модель машинного обучения в открытом космосе

7/30/2023 · 4 мин. чтения

Исследователи впервые успешно обучили модель машинного обучения в открытом космосе