Ученые показывают, как мелкий механизм обучения, используемый мозгом, может конкурировать с глубоким обучением

Кредит: Pixabay/CC0 Общественный домен

Методы обучения нейронной сети вытекают из динамики мозга.Однако эти два сценария, обучение мозга и глубокое обучение, по сути различны.Одним из наиболее заметных различий является количество слоев, которые обладают каждый из них.

Архитектуры глубокого обучения обычно состоят из многочисленных слоев, которые можно увеличить до сотен, что позволяет эффективно изучать сложные задачи классификации.В отличие от этого, мозг состоит из очень мало слоев, но, несмотря на ее мелкую архитектуру, шумную и медленную динамику, он может эффективно выполнять сложные задачи классификации.

Критическим вопросом, управляющим новым исследованием, является возможный механизм, лежащий в основе эффективного мелкого обучения мозга, что позволяет ему выполнять задачи классификации с той же точностью, что и глубокое обучение.В статье, опубликованной в Physica A: Статистическая механика и ее приложения, исследователи из университета Бар-Илан в Израиле показывают, как такие мелкие механизмы обучения могут конкурировать с глубоким обучением.

«Вместо глубокой архитектуры, как и небоскреб, мозг состоит из широкой мелкой архитектуры, больше похоже на очень широкое здание с очень небольшим количеством этажей»,-сказал профессор Идо Кантер из Департамента физики Бар-Илан и Гонды (Голдшмид)Междисциплинарный центр исследований мозга, который руководил исследованием.

«Возможность правильно классифицировать объекты увеличивается, когда архитектура становится все глубже, с большим количеством слоев. Напротив, мелкий механизм мозга указывает на то, что более широкая сеть лучше классифицирует объекты», - сказал Ронит Гросс, студент и один из ключевых участников этогоработа.«Более широкие и более высокие архитектуры представляют собой два дополнительных механизма», - добавила она.

Тем не менее, реализация очень широких мелких архитектур, имитирующая динамику мозга, требует сдвига в свойствах передовой технологии графических процессоров, которая способна ускорить глубокую архитектуру, но терпит неудачу в реализации широких мелких.

Больше информации: Ofek Tevet et al., Эффективный мелкий механизм обучения как альтернатива глубокому обучению, Physica A: статистическая механика и ее применение (2024).Doi: 10.1016/j.physa.2024.129513