3 мин. чтения
9/2/2023 11:31:11 AM

Алгоритм обучения осознает метапластичность в искусственных и популярных нейронных сетях

Article Preview Image Нейромодуляция в мозге.(А) Четыре типа нейромодуляторов и их биологические пути.(Б) нелинейная нейромодуляция.(C) Нейромодуляция диверсифицирует локальную пластичность.Кредит: Casia

Катастрофическое забывание, врожденная проблема с алгоритмами обучения, является сложной в исследованиях искусственной нейронной сети (ANN и SNN).

Мозг решил эту проблему с использованием многомасштабной пластичности. При глобальной регуляции через специфические пути нейромодуляторы диспергируются на целевые области мозга, где как синаптические, так и нейрональные пластичность модулируются нейромодуляторами локально. В частности, нейромодуляторы модифицируют способность и свойство нейронов и синаптической пластичности.Эта модификация известна как метапластичность.

Исследователи во главе с профессором Сюй Бо из Института автоматизации китайской академии наук и их сотрудников предложили новый метод обучения, вдохновленный мозгом (NACA), основанный на пластичности. И зависит от нервной модуляции - подход может помочь смягчить катастрофическое забывание в Ann и SNN.

Этот метод основан на структуре сложного пути нейронной модуляции в мозге и опирается на математическую модель пути нейронной модуляции в форме ожидаемой кодирования матрицы.После получения сигнала стимула генерируются надзорные сигналы дофамина различной силы, что дополнительно влияет на локальную синаптическую и нейрональную пластичность.

NACA поддерживает использование методов обучения Fure Feed Forward Flow для обучения как ANN, так и SNNS.Благодаря глобальной поддержке диффузии дофамина, она синхронизируется с входным сигналом и даже распространяет прямое информацию до входного сигнала.В сочетании с селективной настройкой пластичности, зависящей от Spike-timing, NACA демонстрирует значительные преимущества при быстрой конвергенции и смягчении катастрофических забывений.

В двух типичных задачах распознавания образцов и речи исследовательская группа оценила точность и вычислительные затраты алгоритма алгоритма NACA.В тестах с использованием стандартных наборов данных классификации изображений (MNIST) и распознавания речи (TIDIGIT) NACA достигла более высокой точность классификации (приблизительно 1,92%) и более низкое потребление энергии обучения (приблизительно 98%).

Более того, исследовательская группа сосредоточилась на тестировании непрерывного обучения NACA на непрерывном обучении класса, и расширила нейронную модуляцию на диапазон нейрональной пластичности.

В пяти основных задачах непрерывного обучения из разных категорий (включая непрерывные рукописные цифры Mnist, рукописные буквы непрерывного алфавита, непрерывные рукописные математические символы, непрерывные натуральные изображения Cifar-10 и непрерывные динамические жесты DVSGes) алгоритмы консолидации упругого веса и могут значительно смягчить проблемы с катастрофическим забыванием.

«NACA-это биологически распространенный алгоритм глобальной оптимизации, который использует макроскопическую пластичность для дальнейшей« модуляции »локальной пластичности, который можно рассматривать как метод« пластичности пластичности »с интуитивной функциональной консистенцией с« научиться учиться »и« Meta Learning ».“сказал профессор Сюй.

Больше информации: Тилин Чжан и др., Алгоритм, вдохновленный мозгом, который смягчает катастрофическое забывание о искусственных и провигающих нейронных сетях с низкими вычислительными затратами, научными достижениями (2023).Doi: 10.1126/sciadv.adi2947

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Лучшие пути дают лучшее ИИ: улучшение ранее существовавших архитектур

9/1/2023 · 3 мин. чтения

Лучшие пути дают лучшее ИИ: улучшение ранее существовавших архитектур

Китайский Baidu делает AI Chatbot Ernie Bot публично доступным

9/1/2023 · 3 мин. чтения

Китайский Baidu делает AI Chatbot Ernie Bot публично доступным