Новые машины самообучения на основе физики могут заменить текущие искусственные нейронные сети и экономить энергию

Обучение с светом: это могла бы выглядеть динамика световой волны, используемой внутри физической машины самообучения.Важными являются его нерегулярная форма и то, что ее развитие полностью изменено со времени его наибольшей степени (красный).Кредит: Florian Marquardt, MPL

Искусственный интеллект не только обеспечивает впечатляющую производительность, но и создает значительный спрос на энергию.Чем больше требуются задачи, для которых он обучен, тем больше энергии она потребляет.

Víctor López-Pastor и Florian Marquardt, два ученых из Института Max Planck по науке света в Эрлангене, Германия, представляют метод, с помощью которого искусственный интеллект может быть гораздо более эффективно обучен.Их подход опирается на физические процессы, а не на цифровые искусственные нейронные сети, используемые в настоящее время.Работа опубликована в журнале Physical Review x.

Количество энергии, необходимое для обучения GPT-3, которое делает CHATGPT красноречивым и, по-видимому, хорошо информированным чат-ботом, не было обнаружено Open AI, компанией, стоящей за этой искусственной интеллектом (ИИ).Согласно немецкой статистической компании Statista, для этого потребуется 1000 мегаватт -часов - около 200 немецких домохозяйств с тремя или более человек ежегодно потребляют.Хотя этот затрат на энергию позволил GPT-3 узнать, с большей вероятностью заработало слово «глубокое» слово «море» или «обучение» в своих наборах данных, по всем учетным записям оно не поняло основного значения такогофразы.

Чтобы уменьшить потребление энергии компьютеров, и, в частности, AI-приложения, в последние несколько лет несколько исследовательских учреждений исследуют совершенно новую концепцию того, как компьютеры могут обрабатывать данные в будущем.Концепция известна как нейроморфные вычисления.Хотя это звучит похоже на искусственные нейронные сети, на самом деле это имеет мало общего с ними, поскольку искусственные нейронные сети работают на обычных цифровых компьютерах.

Это означает, что программное обеспечение, или, точнее, алгоритм, моделируется на пути работы мозга, но цифровые компьютеры служат оборудованием.Они выполняют шаги расчета нейрональной сети в последовательности, один за другой, дифференцируя между процессором и памятью.

«Передача данных между этими двумя компонентами пожирает большое количество энергии, когда нейронная сеть обучает сотни миллиардов параметров, то есть синапсов, с одним терабайтом данных», - говорит Марквардт, директор Института Макса Планка для науки.Света и профессор в Университете Эрлангена.

Человеческий мозг совершенно отличается и, вероятно, никогда не был бы эволюционно конкурентоспособным, если бы он работал с энергоэффективностью, сходной с эффективностью компьютеров с кремниевыми транзисторами.Скорее всего, это не удалось из -за перегрева.

Мозг характеризуется проведением многочисленных этапов мыслительного процесса параллельно, а не последовательно.Нервные клетки, или, точнее, синапсы, как процессор, так и память объединены.Различные системы по всему миру рассматриваются как возможные кандидаты для нейроморфных аналогов на наши нервные клетки, включая фотонные схемы, использующие свет вместо электронов для выполнения расчетов.Их компоненты служат одновременно в качестве переключателей и ячеек памяти.

Вместе с Лопес-Пастором, докторантом в Институте науки о свете МакКакса МакКварда, Марквардт теперь разработал эффективное метод обучения для нейроморфных компьютеров.«Мы разработали концепцию самообучения физической машины»,-объясняет Флориан Марквардт.«Основная идея состоит в том, чтобы провести обучение в виде физического процесса, в котором параметры машины оптимизируются самим процессом».

При обучении традиционных искусственных нейронных сетей необходима внешняя обратная связь, чтобы скорректировать сильные стороны многих миллиардов синаптических соединений.«Не требуя этой обратной связи делает обучение намного более эффективным», - говорит Марквардт.Реализация и обучение искусственного интеллекта на самообучения физической машины не только экономит энергию, но и вычислил время.

«Наш метод работает независимо от того, какой физический процесс происходит в машине самообучения, и нам даже не нужно знать точный процесс»,-объясняет Марквардт.«Тем не менее, процесс должен соответствовать нескольким условиям. Самое главное, что он должен быть обратимым, то есть он должен быть в состоянии работать вперед или назад с минимальной потерей энергии».

«Кроме того, физический процесс должен быть нелинейным, что означает достаточно сложный»,-говорит Марквардт.Только нелинейные процессы могут выполнять сложные преобразования между входными данными и результатами.Пинбол, катящийся над тарелкой, не сталкиваясь с другой, - это линейное действие.Однако, если это беспокоит другой, ситуация становится нелинейной.

Примеры обратимых нелинейных процессов можно найти в оптике.Действительно, Лопес-Пастор и Марквардт уже сотрудничают с экспериментальной командой, разрабатывающей оптический нейроморфный компьютер.Эта машина обрабатывает информацию в виде наложенных световых волн, в результате которых подходящие компоненты регулируют тип и прочность взаимодействия.Цель исследователей-применить концепцию самообучения физической машины.

«Мы надеемся, что сможем представить первую физическую машину самообучения за три года»,-говорит Флориан Марквардт.К тому времени должны быть нейронные сети, которые думают с гораздо большим количеством синапсов и обучены значительно большим объемам данных, чем сегодня.

Как следствие, вероятно, будет еще большее желание внедрить нейронные сети за пределами обычных цифровых компьютеров и заменить их на эффективно обученные нейроморфные компьютеры.«Поэтому мы уверены, что физические машины имеют сильную вероятность использования самостоятельных физических машин»,-говорит физик.

Больше информации: Víctor López-Pastor et al.Doi: 10.1103/physRevx.13.031020