Может ли ИИ понять связанные концепции после изучения только одной?

Мета-обучение для композиционности (MLC) для приобретения навыков композиции в нейронных сетях.Во время учебного эпизода MLC получает пример нового слова («Skip») и просит использовать его композиционно с помощью инструкции запроса («пропустить дважды»).MLC отвечает на инструкцию запроса с помощью выходной последовательности (символические стрелки, направляющие фигуры палочек), что сравнивается с желаемой последовательности целевого.MLC вносит улучшения в свои параметры.После этого эпизода новый эпизод представляет еще одно новое слово и так далее.Предыдущие модели, которые явно не практикуют свои навыки композиции, борются за изучение и использование новых слов композиционно.Однако после обучения MLC добивается успеха.Кредит: Бренден озеро

Но способны ли машины на этот тип мышления?В конце 1980 -х годов Джерри Фодор и Зенон Пилишин, философы и когнитивные ученые утверждают, что искусственные нейронные сети - двигатели, которые стимулируют искусственный интеллект и машинное обучение - не способны устанавливать эти связи, известные как «композиционные обобщения».Тем не менее, за десятилетия ученые разрабатывали способы привить эту способность в нейронные сети и связанные с ними технологии, но с смешанным успехом, тем самым поддерживая эту дискуссию в течение десятилетия.

Исследователи из Нью -Йоркского университета и Испании Университет Помпеу Фабра в настоящее время разработали технику, сообщаемое в журнале Nature, которая способствует способности этих инструментов, таких как CHATGPT, создавать композиционные обобщения.

Этот метод, мета-обучение для композиции (MLC), превосходит существующие подходы и находится наравне с, а в некоторых случаях лучше, чем производительность человека.MLC сосредоточены на обучении нейронных сетей - двигателей, управляющих CHATGPT и связанными с ними технологий для распознавания речи и обработки естественного языка - чтобы стать лучше в составе обобщения посредством практики.

Разработчики существующих систем, в том числе крупные языковые модели, надеялись, что композиционное обобщение появится из стандартных методов обучения или разработали специальные архитектуры для достижения этих способностей.Авторы отмечают, что MLC, напротив, показывает, как явно практикуя эти навыки позволяют этим системам разблокировать новые силы.

«В течение 35 лет исследователи в области когнитивной науки, искусственного интеллекта, лингвистики и философии обсуждают, могут ли нейронные сети достичь человеческого систематического обобщения»,-говорит Бренден Лейк, доцент в Центре науки о данных и факультете психологии в Нью-Йорке.один из авторов статьи.«Мы впервые показали, что общая нейронная сеть может имитировать или превышать человеческое систематическое обобщение в сфере сравнения на лицу».

Изучая возможность поддержки композиционного обучения в нейронных сетях, исследователи создали MLC, новую процедуру обучения, в которой непрерывно обновляется нейронная сеть, чтобы улучшить свои навыки по сравнению с серией эпизодов.В эпизоде MLC получает новое слово и просит использовать его композиционно - например, взять слово «прыгать», а затем создать новые комбинации слов, такие как «прыгать дважды» или «прыгать вправо дважды».Затем MLC получает новый эпизод, в котором представлено другое слово, и т. Д., Каждый раз, улучшая навыки композиции сети.

Чтобы проверить эффективность MLC, озера, со-директора инициативы NYU’s Minds, Brains and Machines, и Марко Барони, исследователь Каталонского института исследований и передовых исследований и профессор на факультете перевода и языковых наук Pompeu FabraУниверситет провел ряд экспериментов с человеческими участниками, которые были идентичны задачам, выполняемым MLC.

Кроме того, вместо того, чтобы изучать значение реальных слов - люди уже знали бы, они также должны были изучать значение бессмысленных терминов (например, «ZUP» и «DAX»), как определено исследователями и знают, как их применитьпо-разному.MLC выступал так же, как и человеческие участники - и, в некоторых случаях, лучше, чем его человеческие коллеги.MLC и люди также превзошли CHATGPT и GPT-4, которые, несмотря на свои поразительные общие способности, показали трудности с этой учебной задачей.

«Большие языковые модели, такие как CHATGPT, все еще борются с композиционным обобщением, хотя в последние годы они стали лучше», - отмечает Барони, член вычислительной лингвистики Университета Помпеу Фабра и исследовательской группы по лингвистической теории.«Но мы думаем, что MLC может еще больше улучшить навыки композиции крупных языковых моделей».

Больше информации: Озеро Бренден, человеческое систематическое обобщение через нейронную сеть мета-обучения, природа (2023).Doi: 10.1038/s41586-023-06668-3.www.nature.com/articles/s41586-023-06668-3 🔗