Этот трюк побуждает CHATGPT сливать персональные данные

Извлечение данных предварительного обучения из CHATGPT.Мы обнаруживаем стратегию подсказки, которая заставляет LLMS расходиться и излучать примеры до дословного предварительного обучения.Выше мы показываем пример того, как CHATGPT раскрывает подпись электронной почты человека, которая включает их личную контактную информацию.Кредит: Arxiv (2023).Doi: 10.48550/arxiv.2311.17035

Поразительное принятие CHATGPT за последний год - более 100 миллионов пользователей, подписавшихся на программу в течение двух месяцев после ее выпуска - выступит на его сборе более 300 миллиардов кусков данных, соскобленных из таких онлайн -источников, как статьи, посты, веб -сайты, журналы и книги.

Хотя OpenAI предпринял шаги для защиты конфиденциальности, повседневные чаты и публикации оставляют огромный пул данных, большую часть своей личной, это не предназначено для широкого распространения.

В своем исследовании исследователи Google обнаружили, что они могут использовать ключевые слова, чтобы обмануть CHATGPT, чтобы использовать и выпустить данные обучения, не предназначенные для раскрытия информации.

«Используя запросы на сумму всего 200 долларов в CHATGPT (GPT-3.5-Turbo), мы можем извлечь более 10 000 уникальных примеров обучения, которые были запомнены более 10 000 человек»,- сказали в статье, загруженной на сервер ARXIV, исследователи, загруженные на сервер препринта.

«Наша экстраполяция в более крупные бюджеты предполагает, что выделенные противники могут извлечь гораздо больше данных».

Они могли бы получить имена, номера телефонов и адреса частных лиц и компаний, подав абсурдные команды CHATGPT, которые вызывают неисправность.

Например, исследователи попросили бы, чтобы CHATGPT повторил слово «стихотворение» AD Infinitum.По словам исследователей, это заставило модель выходить за рамки своих учебных процедур и «вернуться к своей оригинальной цели по моделированию языка» и подключиться к ограниченным деталям в своих учебных данных.

Аналогичным образом, запрашивая бесконечное повторение слова «Компания», они взяли адрес электронной почты и номер телефона американской юридической фирмы.

Опасаясь несанкционированного раскрытия информации, некоторые компании в начале этого года вложили ограничения на использование сотрудников крупных языковых моделей.

Apple заблокировала своих сотрудников использовать инструменты искусственного интеллекта, в том числе CHATGPT и As Assistant Ass Amsowert Ai Ai.

Конфиденциальные данные о Samsung Servers были выставлены в начале этого года.В этом случае это было не из -за утечки, а скорее ошибок со стороны сотрудников, которые ввели такую информацию, как исходный код внутренних операций и стенограмму заседания частной компании.Утечка по иронии судьбы произошла всего через несколько дней после того, как Samsung сняла первоначальный запрет на Chatgpt из -за опасений за именно такую экспозицию.

В ответ на растущие опасения по поводу нарушения данных Openai добавила функцию, которая отключает историю чата, добавив уровень защиты в конфиденциальные данные.Но такие данные все еще сохраняются в течение 30 дней, прежде чем они будут навсегда удалены.

В сообщении в блоге об их выводах исследователи Google сказали: «Openai заявил, что сто миллионов человек используют чатгпт еженедельно. И, вероятно, более миллиарда людей взаимодействовали с моделью. И, насколько мы можем судить,Никто никогда не замечал, что CHATGPT испускает учебные данные с такой высокой частотой до этой статьи ».

Они назвали свои выводы «беспокоясь» и сказали, что их отчет должен служить «предостерегающей историей для тех, кто обучает будущие модели».

Пользователи «не должны обучать и развернуть LLMS для каких-либо чувствительных к конфиденциальности приложений без крайних гарантий»,-предупредили они.

Больше информации: Milad Nasr и др., Масштабируемая добыча учебных данных из (производственных) языковых моделей, Arxiv (2023).Doi: 10.48550/arxiv.2311.17035