Обученные ИИ модели демонстрируют

предвзятость к инвалидам.

Документ, созданный исследователями в колледже IST, в том числе докторанты Мукунд Шринатх и Пранав Нараянан Венкит, получила лучшую короткую бумагу на премии 2023 года по обработке заслуживающего доверия естественного языка.Исследование проводилось Шомир Уилсон, доцент кафедры IST.Кредит: Jena Soult / Penn State

В статье «Автоматизированный способность: исследование явных предубеждений об инвалидности в искусственном интеллекте как моделей настроений в области услуг (AIAAS) и токсичномодели, которые они протестировали.

Работа во главе с Шомиром Уилсоном, доцентом IST и директором лаборатории человеческих языковых технологий, получила лучшую короткую статью на премию 2023 года по обработке заслуживающего доверия естественного языка на 61 -м ежегодном собрании Ассоциации по вычислительной лингвистике, состоявшейся в июле.9–14 в Торонто, Канада.

«Мы хотели выяснить, способствовали ли природа дискуссии или ученые ассоциации модели НЛП в предвзятость инвалидности», - сказал Пранав Нараянан Венкит, докторская студентка в колледже IST и первый автор в статье.«Это важно, потому что реальные организации, которые передают свои потребности ИИ, могут неосознанно использовать предвзятые модели».

Исследователи определили предвзятость инвалидности как относиться к человеку с инвалидностью, менее благоприятно, чем кто -то без инвалидности в аналогичных обстоятельствах и явного предвзятости, как преднамеренная ассоциация стереотипов с определенной популяцией.

По словам исследователей, растущее число организаций использует AIAAS или искусственный интеллект в качестве услуги для простых в использовании инструментов НЛП, которые связаны с небольшими инвестициями или риском для организации.Среди этих инструментов есть анализ настроений и токсичности, которые позволяют организации классифицировать и оценивать большие объемы текстовых данных в негативные, нейтральные или положительные предложения.

Анализ настроений - это метод НЛП для извлечения субъективной информации - тетрат, взглядов, эмоций и настроений - от постов в социальных сетях, обзоров продуктов, политических анализов или исследований рынка.Модели обнаружения токсичности ищут воспалительные или содержание - такие как ненавистнические речи или оскорбительный язык - которые могут подорвать гражданский обмен или Лорн.

Исследователи провели двухэтапное исследование смещения инвалидности в инструментах НЛП.Сначала они изучали LRNчS, связанные с людьми с ограниченными возможностями, особенно в Twitter и Reddit, чтобы понять, как предвзятость распространяется в реальных социальных условиях.

Они ползали в блогах и комментариях за однолетний период, в котором конкретно рассматривались перспективы людей с ограниченными возможностями или содержали условия или хэштеги «инвалидность» или «инвалиды».Результаты были отфильтрованы и классифицированы, а затем статистически проанализированы с помощью моделей популярного настроения и анализа токсичности для количественной оценки любого смещения инвалидности и вреда, присутствующего в LRNч.

«Заявления, относящиеся к людям с ограниченными возможностями по сравнению с другими категориями контроля, получили значительно более негативные и токсичные оценки, чем заявления других категорий контроля», - сказал автор, участвующий в содействии Мукунд Шринатх, докторант в колледже IST.

«Мы хотели проверить, возникают ли эти смещения из дискуссий, окружающих Лрн, касающиеся людей с ограниченными возможностями или из ассоциаций, сделанных в рамках обученных моделей настроений и анализа токсичности, и обнаружили, что основной источник смещения, распространенный от моделей, а не фактический контекст Лрнн».

Затем исследователи создали тест на идентификацию смещения в корпусе настроения (биты), чтобы помочь любому идентифицировать явное смещение инвалидности в любых моделях анализа настроений AIAAS и обнаружения токсичности, по словам Венкита.Они использовали корпус, чтобы показать, как популярные настроения и инструменты анализа токсичности содержат явное смещение инвалидности.

«Все общественные модели, которые мы изучали, демонстрировали значительный уклон против инвалидности», - сказал Венкит.«Была проблемная тенденция классифицировать предложения как негативные и токсичные, основанные исключительно на наличии терминов, связанных с инвалидностью, таких как« слепые », без учета контекстуального значения, демонстрируя явное предвзятость в отношении терминов, связанных с инвалидностью».

По мнению исследователей, выявление явного предвзятости в крупномасштабных моделях может помочь нам понять социальное вред, вызванное обучающими моделями с искаженной доминирующей точки зрения-для разработчиков, а также для пользователей.

«Почти все, в какой -то момент своей жизни, испытывают инвалидность, которая может привести к тому, что они социально маргинализированы», - сказал Венкит.«Эта работа представляет собой важный шаг к выявлению и устранению смещения инвалидности в моделях анализа настроений и токсичности и повышения осведомленности о наличии смещения в AIAAS».

Больше информации: Автоматизированный способность: исследование явных предвзятостей инвалидности в искусственном интеллекте как моделей настроения (AIAAS) и анализа токсичности.TrustNlpWorkshop.github.io/papers/5.pdf