Исправление смещений в моделях генератора изображений

Редактирование модели на основе подсказки источника и назначения.Редактирование обобщается для связанных подсказок (зеленого цвета), оставляя не связанные с ними незатронутые (серый).Кредит: Хадас Оргад и др.

Чтобы достичь хороших результатов, эти модели обучаются на огромных количествах пар и текстовых текстов, например, сопоставление текста «изображение собаки» с изображением собаки, повторяемой миллионы раз.Благодаря этому обучению модель учится генерировать оригинальные изображения собак.

Однако, как отмечает Хадас Оргад, докторская студентка из факультета компьютерных наук Генри и Мэрилин Тауб, и Бахджат Кавар, выпускник того же факультета, - поскольку эти модели обучаются многим данным из реального мира, они приобретаюти усваивать предположения о мире во время учебного процесса.

«Некоторые из этих предположений полезны, например,« небо синее », и они позволяют нам получать красивые изображения даже с короткими и простыми описаниями. С другой стороны, модель также кодирует неправильные или неактуальные предположения о мире.Помимо социальных предубеждений.

Другая проблема, с которой сталкиваются эти модели, - это значительное количество изменений, происходящих в окружающем нас мире.Модели не могут адаптироваться к изменениям после учебного процесса.

Как объясняет Дана Арад, также докторант на факультете компьютерных наук Тауба, «во время их обучения модели также узнают много фактических знаний о мире. Например, модели изучают личность главы государств, президентов,и даже актеры, которые изображали популярных персонажей в сериале.

«Такие модели больше не обновляются после их обучения, поэтому, если мы сегодня попросим модель создать картину президента Соединенных Штатов, мы все равно можем разумно получить картину Дональда Трампа, кто, конечно, не был президентомВ последние годы.

«Традиционным» решением этих проблем является постоянная коррекция данных пользователем, переподготовка или тонкая настройка.Тем не менее, эти исправления получают высокие затраты в финансовом отношении, с точки зрения рабочей нагрузки, с точки зрения качества результатов и в экологических аспектах (из -за более длительной работы компьютерных серверов).Кроме того, реализация этих методов не гарантирует контроль над нежелательными предположениями или новых предположений, которые могут возникнуть.«Поэтому, - объясняют они, - мы хотели бы получить точный метод для управления предположениями, которые кодирует модель».

Методы, разработанные докторантами, под руководством доктора Йонатана Белинкова, отвечают этой потребности.Первый метод, разработанный Torgad и Kawar и вызов Time (редактирование модели текста до изображения), позволяет быстро и эффективно коррекции смещений и предположений.

Причина этого заключается в том, что коррекция не требует точной настройки, переподготовки или изменения языковой модели и изменения инструментов интерпретации текста, но лишь частичное повторное редактирование около 1,95% параметров модели.Более того, тот же процесс редактирования выполняется менее чем за секунду.

В текущих исследованиях, основанных на времени, называемом UCE, которое было разработано в сотрудничестве с северо -восточными и университетами MIT, они предложили способ контролировать различные нежелательные этические поведения модели, такие как нарушение авторских прав или социальные предубеждения - путем удаления нежелательных ассоциацийот модели, такой как оскорбительный контент или художественные стили разных артистов.

Другой метод, разработанный впоследствии ARAD и Orgad, называется Refact.Он предлагает другой алгоритм для редактирования параметров и достигает более точных результатов.

Refact редактирует еще меньший процент параметров модели - всего 0,25% - и удается выполнить более широкое разнообразие изменений, даже в тех случаях, когда предыдущие методы вышли из строя.Это происходит при поддержании качества изображений и фактов и предположений о модели, которую мы хотим сохранить.

Методы получают входные данные от пользователя в отношении факта или предположения, которое они хотят отредактировать.Например, в случаях неявных допущений метод получает «источник», на котором модель основывает неявные предположения (например, «красные розы» по умолчанию, модель предполагает красные розы) и «цель», которая описывает те же обстоятельства, но сЖелаемые функции (например, «синие розы»).

При желании использовать метод редактирования роли, метод получает запрос на редактирование (например, «президент Соединенных Штатов»), а затем «источник» и «цель» («Дональд Трамп» и «Джо Байден» соответственно)ПолемИсследователи собрали около 200 работ и предположений, на которых они проверили методы редактирования и показали, что это эффективные методы обновления информации и исправления смещений.

Время было представлено в октябре 2023 года на конференции ICCV, конференции в области компьютерного зрения и машинного обучения.UCE был недавно представлен на конференции WACV.

Refact был представлен в Мексике на конференции NAACL, конференции по исследованиям по обработке естественного языка.

Больше информации: Редактирование неявных допущений в моделях диффузии текста до изображения