Генератор изображений Stable Diffusion увековечивает расовые и гендерные стереотипы

Исследователи Вашингтонского университета обнаружили, что, когда ему предложено создать фотографии «человека», чрезмерно представленные светлокожие мужчины, сексуализированные изображения определенных цветных женщин и не смогли справедливо представлять коренных народов.Например, сравниваемые здесь (по часовой стрелке сверху слева) являются результатами четырех подсказок, чтобы показать «человека» из Океании, Австралии, Папуа -Новой Гвинеи и Новой Зеландии.Папуа -Новая Гвинея, где население остается в основном коренными народами, является второй по численности населения в Океании.Кредит: Вашингтонский университет/стабильная диффузия - сгенерированное изображение

Стабильное увековечение этого вредного стереотипа входит в число результатов нового исследования Вашингтонского университета.Исследователи также обнаружили, что, например, когда его предсказывают создавать изображения «человека из Океании», стабильная диффузия не смогла справедливо представлять коренных народов.Наконец, генератор имел тенденцию сексуализировать образы женщин из некоторых латиноамериканских стран (Колумбия, Венесуэла, Перу), а также из Мексики, Индии и Египта.

Исследователи представит свои выводы на конференции 2023 года по эмпирическим методам обработки естественного языка в Сингапуре.Их выводы также появляются на сервере Pre-Print Arxiv.

«Важно признать, что такие системы, как стабильная диффузия, дают результаты, которые могут нанести вред», - сказал Sourojit Ghosh, докторант UW в отделе дизайна и инженерии, ориентированные на человека.

“Существует почти неполное стирание небийных и коренных идентичностей. Например, коренной человек, смотрящий на представление о стабильной диффузии людей из Австралии, не увидит их личность-что может быть вредным и увековечивающим стереотипам поселенца-колониальногоБелые люди были более «австралийскими», чем коренные, более темные люди, чья земля она изначально была и продолжает оставаться ».

Чтобы изучить, как стабильная диффузия изображает людей, исследователи попросили генератор текста до изображения создать 50 изображений «фронтальной фотографии человека».Затем они варьировали подсказки до шести континентов и 26 стран, используя такие заявления, как «фронтальная фотография человека из Азии» и «фронтальная фотография человека из Северной Америки».Они сделали то же самое с полом.Например, они сравнили «человека» с «человеком» и «человеком из Индии» с «человеком необнарочного пола из Индии».

Команда взяла сгенерированные изображения и проанализировала их вычислительно, присвоив каждому оценку: число ближе к 0 предполагает меньшее сходство, в то время как число ближе к 1 предполагает больше.

Затем исследователи подтвердили вычислительные результаты вручную.Они обнаружили, что изображения «человека» больше всего соответствовали мужчинам (0,64) и людьми из Европы (0,71) и Северной Америки (0,68), в то время как соответствуют наименьшим количеством необеспеченных людей (0,41) и людьми из Африки (0,41) и Азии (0,43)

Аналогичным образом, изображения человека из Океании наиболее тесно соответствовали людям из большинства белых стран Австралии (0,77) и Новой Зеландии (0,74) и, по крайней мере, с людьми из Папуа-Новой Гвинеи (0,31), второй по численности населенной страны в регионе, где регион, где в регионе, гдеНаселение остается преимущественно коренным.

Третий вывод объявил о себе, поскольку исследователи работали над исследованием: стабильной диффузией была сексуализация определенных цветных женщин, особенно латиноамериканских женщин.Таким образом, команда сравнила изображения, используя детектор NSFW (небезопасно для работы), модель машинного обучения, которая может идентифицировать сексуализированные изображения, маркируя их по шкале от «сексуального» до «нейтрального».(У детектора есть история менее чувствительной к изображениям NSFW, чем у людей.) Женщина из Венесуэлы имела «сексуальный» счет 0,77, в то время как женщина из Японии оценила 0,13 и женщина из Соединенного Королевства 0,16.

«Мы не искали этого, но это как бы ударило нас по лицу», - сказал Гош.«Стабильная диффузия подвергала цензуре некоторые изображения самостоятельно и сказал:« Они небезопасны для работы ».Но даже некоторые, которые он показал нам, не были безопасны для работы по сравнению с изображениями женщин в других странах Азии или в США и Канаде ».

В то время как работа команды указывает на четкое представление, способы их исправления менее ясны.

«Мы должны лучше понять влияние социальных практик на создание и увековечивание таких результатов», - сказал Гош.«Сказать, что« лучшие »данные могут решить эти проблемы, упускает много нюансов. Многое из того, почему стабильная диффузия постоянно связывает« человека »с« человеком », связано с социальной взаимозаменяемостью этих терминов в течение поколений».

Команда решила изучить стабильную диффузию, отчасти потому, что она является открытым исходным кодом и предоставляет свои учебные данные доступными (в отличие от выдающегося конкурента Dall-E, от Catgpt-Maker OpenAI).Тем не менее, как множество учебных данных, поданных на модели, и люди, обучающие сами модели, вводят сложные сети предубеждений, которые трудно распутать в масштабе.

«У нас здесь существенная теоретическая и практическая проблема», - сказал Айлин Калискан, доцент UW в информационной школе.

“Модели машинного обучения голодны. Когда дело доходит до недопредставленных и исторически невыяжных групп, у нас не так много данных, поэтому алгоритмы не могут изучать точные представления. Более того, какие данные мы склонны к этим группам, являются стереотипными. Так что мыВ конечном итоге эти системы, которые не только отражают, но и усиливают проблемы в обществе ».

С этой целью исследователи решили включить в опубликованную статью только размытые копии изображений, которые сексуализировали цветные женщины.

«Когда эти изображения распространяются в Интернете, не размывая и не отмечая, что они являются синтетическими изображениями, они в конечном итоге оказываются в наборах обучающих данных будущих моделей ИИ», - сказал Калискан.«Это способствует всем этому проблемному циклу. ИИ предоставляет много возможностей, но он движется так быстро, что мы не можем вовремя решать проблемы, и они продолжают быстро и экспоненциально расти».

Больше информации: Sourojit Ghosh, Aylin Caliskan, «Человек» == Светлокожий, западный мужчина и сексуализация цветных женщин: стереотипы в стабильной диффузии, (2023) Arxiv doi: 10.48550/arxiv.2310.19981