Команда предлагает основу рассуждения, направленную на повышение надежности и отслеживания LLMS

Иллюстрация самопроизводительной основы для улучшения ралс.Верхняя часть - основные LLM, которые отвечают на вопрос по неотъемлемым знаниям.Середина - это стандартный дополненный LMS, который использует извлеченные документы, чтобы помочь ответить на вопрос.В дне наша структура самопроизводительной работы, которая использует траектории самоогенерированных разумов для вывода ответов.Кредит: Arxiv (2024).Doi: 10.48550/arxiv.2407.19813

Команда исследователей ИИ в китайской технологической компании Baidu Inc. предлагает новую структуру рассуждений, предназначенную для повышения надежности и отслеживания LLMS.Группа опубликовала статью, описывающую их идеи на сервере Arxiv Preprint.

За последние пару лет LLM, такие как CHATGPT, стали основными приложениями, причем пользователи используют свои возможности для написания документов, создания изображений и даже писать песни.

Но одна явная слабость LLMS остается - их неспособность проверить свои собственные результаты, чтобы убедиться, что они не представляют пользователей «галлюцинации», которые не имеют смысла.Эта слабость предотвращает использование приложений ИИ для более важных приложений, которые полагаются на целостность данных.

В этом новом усилии команда Baidu разработала стратегию, направленную на то, чтобы заставить LLMS проверить свою работу, прежде чем представить результаты конечным пользователям.

Новый подход включает в себя добавление трехэтапного процесса в двигатель LLM непосредственно перед представлением результатов.Первое-добавить модель с учетом актуальности, чтобы оценить результаты и судить их об их актуальности для пользовательской подсказки.Второй включает в себя выборочный вариант с учетом доказательств, в котором соответствующие документы выбираются для цитирования, а выдержки представлены в качестве доказательства правильности ответа.Третий включает в себя модуль анализа траекторий, который проводит четкий и краткий анализ, основанный на результатах предыдущих двух модулей.Затем он предоставляет пользователю окончательный ответ.

Исследовательская группа предполагает, что подход заставит LLMS более осведомлен о предоставленных ответах пользователям, что в конце концов должно повысить точность.Команда также проверила свои идеи, добавив тестовые модули в LLMS, а затем написав подсказки.Они утверждают, что улучшенные LLMs смогли превзойти GPT-4, используя гораздо меньшие наборы обучения.

Исследователи предполагают, что такие рамки, как их их, могут привести к более надежным LLM, что может сделать их подходящими для большего количества приложений.Они также предполагают, что откроют поле большему количеству игроков, которые в настоящее время не имеют доступа к массовым наборам данных.

More information: Yuan Xia et al, Improving Retrieval Augmented Language Model with Self-Reasoning, arXiv (2024). DOI: 10.48550/arxiv.2407.19813