3 мин. чтения
7/28/2023 7:09:59 AM

Смеются ли андроиды над электроовцами?

Featured Image 1 Предоставлено: карикатура Дрю Дернавича, победившая подпись Беннетта Элленбогена.

Используя сотни записей из конкурса подписей к мультфильмам журнала New Yorker в качестве испытательного стенда, исследователи поставили перед моделями ИИ и людьми три задачи: сопоставить шутку с мультфильмом; идентификация победившей подписи; и объяснение, почему победившая подпись забавна.

Во всех задачах люди понимали юмор явно лучше, чем машины, даже несмотря на то, что достижения ИИ, такие как ChatGPT, сократили разрыв в производительности. Так начинают ли машины «понимать» юмор?

Для своего исследования ученые собрали 14-летние конкурсы подписей New Yorker — всего более 700. Каждый конкурс включал в себя: карикатуру без субтитров; записи на этой неделе; три финалиста, отобранные редакторами New Yorker; и, для некоторых конкурсов, оценки качества толпы для каждой заявки.

Для каждого конкурса исследователи тестировали два вида ИИ — «из пикселей» (компьютерное зрение) и «из описания» (анализ человеческих резюме мультфильмов) — для трех задач.

«Есть наборы данных фотографий с Flickr с подписями вроде: «Это моя собака», — сказал Хессель. «Интересная вещь в случае с жителем Нью-Йорка заключается в том, что отношения между изображениями и подписями являются косвенными, игривыми и отсылают к множеству реальных сущностей и норм. И поэтому задача «понимания» взаимосвязи между этими вещами требует немного большей изощренности».

В эксперименте сопоставление требовало, чтобы модели ИИ выбирали подпись финалиста для данного мультфильма из числа «отвлекающих факторов», которые были финалистами, но для других конкурсов; Качество ранжирования требовало моделей, чтобы отличить подпись финалиста от нефиналиста; и объяснения, необходимые модели для создания свободного текста, говорящего о том, как высококачественная подпись связана с мультфильмом.

Хессель сам написал большинство объяснений, созданных человеком, после того, как краудсорсинговая задача оказалась неудовлетворительной. Он сгенерировал объяснения из 60 слов для более чем 650 мультфильмов.

«Такое число, как 650, не кажется очень большим в контексте машинного обучения, где у вас часто есть тысячи или миллионы точек данных, — сказал Хессель, — пока вы не начнете их записывать».

Это исследование выявило значительный разрыв между «пониманием» на уровне ИИ и человека того, почему мультфильм смешной. Лучшая производительность ИИ в тесте с несколькими вариантами ответов на сопоставление мультфильма с титрами составила всего 62%, что намного уступает 94% у людей в той же обстановке. И когда дело дошло до сравнения объяснений, созданных человеком и .AI, люди были предпочтительнее примерно 2 к 1.

Хотя ИИ, возможно, еще не в состоянии «понять» юмор, пишут авторы, он может быть совместным инструментом, который юмористы могут использовать для мозгового штурма идей.

«Эти три или четыре года исследований не всегда были очень веселыми, — сказал Ли, — но то, что мы пытаемся сделать в нашей работе или, по крайней мере, в нашем письме, — это поощрять больше духа веселья».

Подробнее:

aclanthology.org/2023.acl-long.41/ 🔗

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Самая страшная тайна ИИ

7/31/2023 · 3 мин. чтения

Самая страшная тайна ИИ

Исследователи впервые успешно обучили модель машинного обучения в открытом космосе

7/30/2023 · 3 мин. чтения

Исследователи впервые успешно обучили модель машинного обучения в открытом космосе