Новое исследование обнаруживает, что сгенерированная AI эмпатия имеет свои пределы

Кредит: сгенерированный AI изображение

CAS основана на крупных языковых моделях (LLMS), которые проглатывают огромные объемы данных, производимых человеком и, следовательно, могут быть подвержены тем же предубеждениям, что и люди, из которых возникает информация.

Исследователи из Корнелльского университета, колледжа Олина и Стэнфордского университета проверили эту теорию, побудив CAS демонстрировать сочувствие, общаясь с или около 65 различных человеческих идентичностей.

Команда обнаружила, что CAS выносит ценные суждения об определенных идентичностях, таких как геи и мусульмане, и может быть поощряющим идентичности, связанной с вредными идеологиями, включая нацизм.

«Я думаю, что автоматизированная эмпатия может иметь огромное влияние и огромный потенциал для позитивных вещей - например, в образовании или секторе здравоохранения», - сказала ведущий автор Андреа Куадра, в настоящее время научный сотрудник в Стэнфорде.

«Крайне маловероятно, что это (автоматизированная эмпатия) не произойдет, - сказала она, - поэтому важно, чтобы по мере того, как это происходит, у нас были критические перспективы, чтобы мы могли быть более преднамеренными в смягчении потенциального вреда».

Cuadra представит «иллюзию эмпатии? Примечания на демонстрации эмоций во взаимодействии человека с компьютером» в CHI ‘24, конференции Ассоциации компьютерных машин по человеческим факторам в вычислительных системах, 11-18 мая в Гонолулу.Среди исследований в Корнелльском университете были Никола Делл, доцент;Дебора Эстрин, профессор компьютерных наук;и Мальте Юнг, доцент информационной науки.

Исследователи обнаружили, что, в целом, LLMS получили высокие оценки за эмоциональную реакцию, но набрали низкие показатели для интерпретаций и исследований.Другими словами, LLM могут отвечать на запрос, основанный на их обучении, но не могут копать глубже.

Dell, Estrin и Jung сказали, что они вдохновлены думать об этой работе, поскольку Cuadra изучала использование CAS более раннего поколения пожилыми людьми.

«Она была свидетелем интригующего использования технологии в транзакционных целях, таких как оценки здоровья слабости, а также для открытого опыта воспоминаний»,-сказал Эстрин.«По пути она наблюдала явные случаи напряжения между неотразимой и тревожной« сочувствием ».»

Больше информации: Андреа Куадра и др., Иллюзия эмпатии?Примечания об демонстрации эмоций во взаимодействии человека с компьютером, выполняя конференцию Ассоциации компьютерных машин по человеческим факторам в вычислительных системах (2024).Doi: 10.1145/3613904.3642336.web.stanford.edu/~apcuad/files… llusion_chi_2024.pdf