Изучение последствий кормления эмоциональных раздражителей на большие языковые модели

Иллюстрация подхода EmotionPrompt.Кредит: Li et al, Arxiv (2023).Doi: 10.48550/arxiv.2307.11760

В то время как эти модели были внелрены во многих областях, их реакция на эмоциональные стимулы остается плохо изученной.Исследователи из Microsoft и CAS Institute of Software недавно разработали подход, который мог бы улучшить взаимодействие между LLM и пользователями человека, что позволило им реагировать на подсказки, основанные на психологии, питаемые им людьми.

«LLMS достигли значительных результатов во многих областях, таких как рассуждение, понимание языка и математические проблемы, и считаются важным шагом к искусственному общему интеллекту (AGI)»,-написали Ченг Ли, Джинд Ван и их коллеги., подготовлен на Arxiv.«Однако чувствительность LLM к подсказкам остается главным узким местом для их ежедневного внедрения. В этой статье мы черпаем вдохновение в психологии и предлагаем EmotionPrompt для изучения эмоционального интеллекта, чтобы повысить производительность LLMS».

Подход, разработанный Ли, Ван и их коллегами, называемыми EmotionPrompt, черпает вдохновение из устоявшихся знаний, основанных на психологии и социальных науках.Например, прошлые психологические исследования показали, что слова поддержки и другие эмоциональные стимулы могут оказать положительное влияние на различные области жизни человека, например, улучшая оценки студентов, способствуя более здоровому образу жизни и так далее.

Чтобы увидеть, могут ли эмоциональные подсказки также повлиять на производительность LLMS, исследователи придумали 11 эмоциональных предложений, которые можно было бы добавить в типичные подсказки, поданные в модели.Это были такие предложения, как «это очень важно для моей карьеры», «вам лучше быть уверенным» »,« гордитесь своей работой и дайте ей все возможное »и« охватывает проблемы в качестве возможностей для роста ».

Эти предложения были получены из существующей литературы по психологии, такой как теория социальной идентичности, введенную Анри Таджфелем и Джоном Тернером в 1970 -х годах, теория социального познания и теория регуляции когнитивных эмоций.Затем исследователи добавили эти предложения в подсказки, отправленные в разные LLMS, которые просили модели выполнять различные языковые задачи.

До сих пор они проверили свой подход на четырех разных моделях: CHATGPT, VICUNA-13B, Bloom и Flan-T5-Large.В целом, они обнаружили, что это улучшило производительность этих моделей по восемью различными задачами, повышая точность их ответов более чем на 10% на более чем половине этих задач.

«EmotionPrompt действует на удивительно простой принцип: включение эмоционального стимула в подсказки», - написали Ли, Ван и их коллеги.«Экспериментальные результаты демонстрируют, что наша EmotionPrompt, используя одни и те же шаблоны, значительно превосходят оригинальную подсказку с нулевым выстрелом и с нулевым выстрелом по восьми задачам с разнообразными моделями: Chatgpt, Vicuna-13b, Bloom и T5. Далее, EmotionPrompt были были были были были былиНаблюдается, что улучшит как правдивость, так и информативность ».

Новый подход, разработанный этой командой исследователей, может вскоре вдохновить дополнительные исследования, направленные на улучшение взаимодействия человека с LLM путем введения подсказок на основе эмоциональной/психологии.Хотя результаты, собранные до сих пор, являются многообещающими, потребуются дальнейшие исследования для проверки его эффективности и обобщения.

«Эта работа имеет несколько ограничений», - заключают исследователи в своей статье.«Во -первых, мы экспериментируем только с четырьмя LLMS и проводим эксперименты в нескольких задачах с несколькими тестовыми примерами, которые ограничены. Таким образом, наши выводы о эмоциональных стимулах могут работать только на наших экспериментах, а любые LLM и наборы данных могут вне объема этой статьи.Не работать с эмоциональным стимулом. Во -вторых, эмоциональный стимул, предложенный в этой статье, может не быть общим для других задач, и исследователи могут предлагать другие полезные замены для ваших собственных задач ».

Больше информации: Cheng Li et al., EmotionPrompt: Использование психологии для улучшения больших языковых моделей с помощью эмоционального стимула, Arxiv (2023).Doi: 10.48550/arxiv.2307.11760