Идентификация научных статей, созданных ИИ, с точностью 99%
ChatGPT против человека. Фото: Хизер Дезер и Романа Ярославова, Канзасский университет
Дебют чат-бота с искусственным интеллектом ChatGPT взбудоражил мир своей способностью создавать тексты. Тем не менее многие контрольные признаки могут помочь нам отличить чат-ботов с искусственным интеллектом от людей, согласно исследованию, опубликованному 7 июня в журнале Cell Reports Physical Science. Основываясь на признаках, исследователи разработали инструмент для идентификации академического научного письма, созданного искусственным интеллектом, с точностью более 99%.
«Мы изо всех сил старались создать доступный метод, чтобы даже старшеклассники могли создать детектор ИИ для различных типов письма», — говорит первый автор Хизер Дезир, профессор Канзасского университета. «Существует необходимость в написании ИИ, и людям не нужна степень в области компьютерных наук, чтобы внести свой вклад в эту область».
«Прямо сейчас есть некоторые довольно вопиющие проблемы с написанием ИИ», — говорит Дезир. «Одна из самых больших проблем заключается в том, что он собирает текст из многих источников, и нет никакой проверки точности — это похоже на игру «Две правды и ложь».
Хотя многие детекторы текста с искусственным интеллектом доступны в Интернете и работают довольно хорошо, они не были созданы специально для академического письма. Чтобы восполнить этот пробел, команда стремилась создать инструмент с лучшей производительностью именно для этой цели. Они сосредоточились на типе статей, называемых перспективами, которые дают обзор конкретных тем исследований, написанных учеными. Команда выбрала 64 точки зрения и создала 128 сгенерированных ChatGPT статей по тем же темам исследований для обучения модели. Когда они сравнили статьи, они обнаружили показатель написания ИИ — предсказуемость.
В отличие от ИИ, люди имеют более сложную структуру абзацев, различающуюся по количеству предложений и общему количеству слов в абзаце, а также по колеблющейся длине предложения. Предпочтения в знаках препинания и словарном запасе также являются персональными. Например, ученые тяготеют к таким словам, как «однако», «но» и «хотя», в то время как ChatGPT часто использует «другие» и «исследователи» в письменной форме. Команда насчитала 20 характеристик модели, на которые стоит обратить внимание.
При тестировании модель показала 100% точность при отсеивании полноценных статей, созданных искусственным интеллектом, от статей, написанных людьми. Для идентификации отдельных абзацев в статье модель имела точность 92%. Модель исследовательской группы также превзошла доступный на рынке детектор текста с искусственным интеллектом с большим отрывом в аналогичных тестах.
Далее команда планирует определить область применимости модели. Они хотят протестировать его на более обширных наборах данных и в различных типах академической научной литературы. По мере того, как чат-боты с искусственным интеллектом развиваются и становятся все более изощренными, исследователи также хотят знать, выдержит ли их модель.
«Первое, что люди хотят знать, когда слышат об исследовании, это: «Могу ли я использовать это, чтобы определить, действительно ли мои студенты написали свою работу?», — сказал Дезэр. Несмотря на то, что модель обладает высокой квалификацией в различении ИИ и ученых, Десайр говорит, что она не была разработана для того, чтобы определять студенческие эссе, созданные ИИ. Тем не менее она отмечает, что люди могут легко воспроизвести методы для построения моделей для своих собственных целей.
Оригинал статьи: Heather Desaire, Distinguishing academic science writing from humans or ChatGPT with over 99% accuracy using off-the-shelf machine learning tools., Cell Reports Physical Science (2023). DOI: 10.1016/j.xcrp.2023.101426. 🔗
Нашли ошибку в тексте? Напишите нам.