Вербальная чепуха выявляет ограничения чат -ботов ИИ

Различные языковые модели ИИ могут выносить различные суждения о том, являются ли предложения значимыми или чепухами.Кредит: Институт Цукермана Колумбийского университета

В статье, опубликованной в Интернете в сфере интеллекта Nature Machine, ученые описывают, как они бросали вызов девяти различным языковым моделям с сотнями пар предложений.Для каждой пары люди, которые участвовали в исследовании, выбрали, какое из двух предложений они считали более естественным, что означает, что его чаще прочитали или слышат в повседневной жизни.Затем исследователи проверили модели, чтобы увидеть, оценит ли они пары каждого предложения так же, как у людей.

В тестах на лику навстречу более сложные ИИ, основанные на том, что исследователи называют нейронными сети трансформатора, как правило, работали лучше, чем более простые модели повторяющихся нейронных сети и статистические модели, которые просто подсчитывают частоту пар слов, найденных в Интернете или в онлайн-базах данныхПолемНо все модели совершали ошибки, иногда выбирая предложения, которые звучат как чепуха для человеческого уха.

«То, что некоторые из крупных языковых моделей работают так же хорошо, как и они предполагают, что они захватывают что-то важное, что простые модели отсутствуют»,- сказал докторский доктор философии, доктор философии, доктор философии Колумбии и со-докторавтор на газете.«То, что даже лучшие модели, которые мы изучали, все еще могут быть обмануты бессмысленными предложениями, показывает, что в их вычислениях не хватает того, как люди обрабатывают язык обрабатывают язык».

Рассмотрим следующую пару предложений, что как человеческие участники, так и ИИ оценивали в исследовании:

Это повествование, которое мы были проданы.

Это неделя, которую вы умирали.

Люди, получившие эти предложения в исследовании, считали первое предложение как с большей вероятностью, чем во втором.Но, по словам Берта, одной из лучших моделей, второе предложение более естественно.GPT-2, пожалуй, самая широко известная модель, правильно определила первое предложение как более естественное, соответствующее человеческим суждениям.

«Каждая модель демонстрировала слепые пятна, обозначав некоторые предложения, столь же значимые, что человеческие участники считали талочными», - сказал старший автор Кристофер Балдассано, доктор философии, доцент психологии в Колумбии.«Это должно дать нам паузу о том, в какой степени мы хотим, чтобы системы ИИ принимали важные решения, по крайней мере, на данный момент».

Хорошая, но несовершенная производительность многих моделей является одним из результатов исследования, которые наиболее интригует доктора Кригесорте.«Понимание того, почему этот разрыв существует и почему некоторые модели превосходят другие, могут стимулировать прогресс с языковыми моделями», - сказал он.

Другой ключевой вопрос для исследовательской группы заключается в том, могут ли вычисления в чат -ботах искусственного интеллекта вдохновлять новые научные вопросы и гипотезы, которые могут направить нейробиологов к лучшему пониманию мозга человека.Может ли то, как эти чат -боты работают, указывать на что -то в схеме нашего мозга?

Дальнейший анализ сильных сторон и недостатков различных чат -ботов и их основных алгоритмов может помочь ответить на этот вопрос.

«В конечном счете, мы заинтересованы в понимании того, как думают люди»,-сказал Тал Голан, доктор философии, соответствующий автор газеты, который в этом году выступил с постдокторской должности в Институте Цукермана Колумбии, чтобы создать свою собственную лабораторию в Университете Бен-ГурионаНегев в Израиле.

«Эти инструменты искусственного интеллекта становятся все более мощными, но они обрабатывают язык иначе от того, как мы это делаем. Сравнение их языкового понимания с нашим дает нам новый подход к размышлениям о том, как мы думаем».

Больше информации: Тестирование ограничений моделей естественного языка для прогнозирования суждений человеческого языка, интеллекта природной машины (2023).Doi: 10.1038/s42256-023-00718-1, www.nature.com/articles/s42256-023-00718-1 🔗