3 мин. чтения
7/19/2023 10:51:45 AM

Несколько «я» модульных агентов ускоряют обучение ИИ

Featured Image 1 Pixabay / CC0 Общественное достояние

Команда исследователей из Принстонского института неврологии присоединилась к обсуждению с документом, в котором рассматривается процесс принятия решений, когда речь идет о машинном обучении. Они говорят, что нашли подход, который улучшает обычно применяемый одноагентный процесс.

Они обучили агентов глубокого обучения с подкреплением в простой игре на выживание на двухмерной сетке. Агенты были обучены искать различные ресурсы, спрятанные вокруг поля, и поддерживать достаточный уровень снабжения, чтобы преобладать.

Один агент, рассматриваемый как «объединенный мозг» или «я», действовал стандартным образом, применяя пошаговый подход к оценке каждой цели и, методом проб и ошибок, изучая, какие решения являются лучшими на каждом этапе пути.

Модульный агент, однако, полагался на вклад субагентов, которые имели более узко определенные цели и имели свой собственный уникальный опыт, успехи и неудачи. После того, как входные данные из нескольких модулей были оценены в одном «мозге», агент сделал выбор о том, как действовать дальше.

Исследователи сравнили установку с принципами, вовлеченными в классические давние дебаты о том, как человек управляет конфликтующими потребностями и целями.

Независимо от того, опирается ли решение «на одного, монолитного агента (или «я»), который учитывает все потребности, или, скорее, отражает возникающий процесс конкуренции между несколькими модульными агентами (т.е. «множественными я»)… пронизывает мифологию и литературу», — сказал ведущий исследователь Джонатан Коэн. «Это фокус теоретической и эмпирической работы практически во всех научных дисциплинах, изучающих агентное поведение, от нейробиологии, психологии, экономики и социологии до искусственного интеллекта и машинного обучения».

Единственный агент достиг целей игры после 30 000 тренировочных шагов. Модульный агент, однако, учился быстрее, добившись значительного прогресса всего после 5 шагов обучения.

«По сравнению со стандартным монолитным подходом, модульные агенты были намного лучше в поддержании гомеостаза набора внутренних переменных в моделируемых средах, как статических, так и изменяющихся», — сказал Коэн.

Команда пришла к выводу, что модульная установка позволила субагентам, которые сосредоточились на ограниченных целях, быстрее адаптироваться к экологическим проблемам.

«Действия, определяемые потребностями одного субагента, служили источником исследования для других, — сказал Коэн, — позволяя им обнаружить ценность действий, которые они, возможно, иначе не выбрали бы в данном состоянии».

Он также объяснил, что в то время как монолитный подход боролся с «проклятием размерности» — экспоненциальным ростом вариантов по мере увеличения сложности окружающей среды — модульные агенты, «специалисты» с ограниченными целями, сосредоточились на более мелких индивидуальных задачах и были лучше способны быстро адаптироваться к изменениям окружающей среды.

«Мы показываем, что модульное проектирование агента как набора субагентов, каждый из которых предназначен для отдельной потребности, значительно повысило способность агента удовлетворять свои общие потребности», — говорится в документе.

Исследователи добавили, что благодаря более эффективной и быстрой адаптации к изменяющимся условиям и целям модульный подход «может также объяснить, почему люди долгое время описывались как состоящие из «множественных я».

Подробнее: Zack Dulberg et al, Having multiple selves helps learning agents explore and adapt in complex changing worlds, Proceedings of the National Academy of Sciences (2023) DOI: 10.1073/pnas.2221180120 🔗

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Самая страшная тайна ИИ

7/31/2023 · 3 мин. чтения

Самая страшная тайна ИИ

Исследователи впервые успешно обучили модель машинного обучения в открытом космосе

7/30/2023 · 3 мин. чтения

Исследователи впервые успешно обучили модель машинного обучения в открытом космосе