Исследование «галлюцинирования» генеративных моделей. Достоверность искусственного интеллекта

Обзор семантической энтропии и обнаружения конфуляции.Кредит: природа (2024).Doi: 10.1038/s41586-024-07421-0

Исследователи из Оксфордского университета добились значительного прогресса в обеспечении того, чтобы информация, полученная генеративным искусственным интеллектом (ИИ), надежна и надежна.

В новом исследовании, опубликованном в природе, они демонстрируют новый метод обнаружения, когда большая языковая модель (LLM), вероятно, будет «галлюцинировать» (то есть изобретать факты, которые звучат правдоподобно, но воображаемые).

Этот аванс может открыть новые способы развертывания LLM в ситуациях, когда «небрежные ошибки» стоят дорогостоящие, такие как юридические или медицинские ответы.

Исследователи сосредоточились на галлюцинациях, где LLM дают разные ответы каждый раз, когда ему задают вопрос, даже ли формулировка идентична - известная как конфлюлирующая.

«LLM очень способны говорить одно и то же по -разному, что может затруднить его, когда они уверены в ответе, и когда они буквально просто что -то придумывают», - сказал автор исследования доктор Себастьян Фаркухар изОксфордский факультет компьютерных наук.

«С предыдущими подходами было невозможно сказать разницу между моделью, которая не уверена в том, что сказать, по сравнению с неуверенным в том, как это сказать. Но наш новый метод преодолевает это».

Для этого исследовательская группа разработала метод, основанный на статистике, и использование методов, которые оценивают неопределенность, основанную на количестве вариации (измеренной как энтропии) между несколькими выходами.

Их подход вычисляет неопределенность на уровне значения, а не последовательностей слов, то есть он замечает, когда LLM не уверены в фактическом значении ответа, а не только о выражении.Для этого вероятности, создаваемых LLM, которые утверждают, насколько вероятно, что каждое слово должно быть следующим в предложении, переводятся в вероятности в отношении значений.

Новый метод оказался гораздо лучше при обнаружении, когда на вопрос, вероятно, будет отвечать неправильно, чем на все предыдущие методы, когда он был проверен на шесть LLM с открытым исходным кодом (включая GPT-4 и Llama 2).

Это имело место для широкого спектра различных наборов данных, включая ответные вопросы, взятые из поиска Google, технических биомедицинских вопросов и математических слов.Исследователи даже продемонстрировали, как семантическая энтропия может определить конкретные претензии в коротких биографиях, генерируемых CHATGPT, которые могут быть неверными.

«Наш метод в основном оценивает вероятности в пространстве значений или« семантических вероятностях »,-сказал соавтор исследования Джанник Коссен (Департамент компьютерных наук, Оксфордский университет).«Привлечение этого подхода заключается в том, что он сами использует LLM, чтобы сделать это преобразование».

Обнаруживая, когда подсказка, вероятно, даст конфуляцию, новый метод может помочь пользователям генеративного ИИ осведомленным, когда ответы на вопрос, вероятно, ненадежны, и позволяют системам, основанным на LLM, не отвечать на вопросы, которые могут вызвать конфуляции.

Ключевым преимуществом для этой техники является то, что он работает по наборам данных и задачам без априорных знаний, не требующих данных, не требующих задачи, и надежно обобщается на новые задачи, которых ранее не видели.Хотя он может сделать процесс в несколько раз дороже вычислительно дорогостоящим, чем просто использование генеративной модели напрямую, это явно оправдано, когда точность имеет первостепенное значение.

В настоящее время галлюцинации являются критическим фактором, сдерживающим более широкое принятие LLM, таких как CHATGPT или Gemini.Помимо того, что LLM ненадежны, например, путем представления неточностей в новостных статьях и изготовления юридических прецедентов, они могут быть даже опасными, например, при использовании в медицинской диагностике.

Старший автор исследования Ярин Гал, профессор компьютерных наук в Оксфордском университете и директор по исследованиям в Великобритании Института безопасности ИИ, сказала: «Получение ответов от LLMS - это дешево, но надежность является самой большой узкой местностью.Вычисление семантической неопределенности - это небольшая цена, чтобы заплатить ».

Исследовательская группа профессора Гала, Оксфордская прикладная и теоретическая группа машинного обучения, является домом для этой и другой работы, подталкивающей границы надежных и надежных генеративных моделей.Основываясь на этом опыте, профессор Гал в настоящее время выступает в качестве директора по исследованиям в Великобритании Института безопасности ИИ.

Исследователи подчеркивают, что конфуляция - это только один тип ошибки, которую могут сделать LLMS.«Семантическая неопределенность помогает с конкретными проблемами надежности, но это только часть истории», - объяснил доктор Фаркухар.

«Если LLM совершает последовательные ошибки, этот новый метод не поймет его. Наиболее опасные сбои ИИ возникают, когда система делает что -то плохое, но является уверенным и систематическим. Есть еще много работы».

More information: Sebastian Farquhar et al, Detecting hallucinations in large language models using semantic entropy, Nature (2024). DOI: 10.1038/s41586-024-07421-0