Исследование представляет новый метод для объяснимого ИИ

Метод CRP.Кредит: Fraunhofer HHI

Искусственный интеллект уже широко распространен, но все же трудно понять, как система ИИ принимает свои решения.Ученые из Fraunhofer Heinrich-Hertz-Institut (HHI) и Берлинского института по основам обучения и данных (Bifold) в Tu Berlin в течение многих лет сотрудничали, чтобы сделать ИИ объяснить.Теперь ученые во главе с профессором Томасом Вигандом (Fraunhofer HHI, Bifold), профессором Войчехом Самком (Fraunhofer HHI, Bifold) и доктором Себастьяном Лапушкан (Fraunhofer HHI) достигли другого этажа.

В своей статье «От карт атрибуции до людей, понимающих человеку, объяснения посредством распространения концепции релевантности», исследователи представляют концепцию распространения актуальности (CRP), новый метод, который может объяснить отдельные решения ИИ как понятия, понятные для людей.Документ теперь опубликован в сфере интеллекта Nature Machine.

Системы ИИ - это в основном черные ящики: людям обычно нет понятия, как ИИ прибывает в определенное решение.CRP-это современный объяснительный метод для глубоких нейронных сетей, который дополняет и углубляет существующие объяснительные модели.При этом CRP раскрывает не только характеристики ввода, которые имеют отношение к принятому решению, но и концепции, которые используется ИИ, местоположение, где они представлены на входе и какие части нейронной сети несут за них ответственностьПолем

Таким образом, CRP способен объяснить отдельные решения, принятые ИИ, используя концепции, которые понятны для людей.В результате это исследование устанавливает совершенно новый стандарт для оценки и взаимодействия с ИИ.

Впервые этот подход к объясняемости рассматривает весь процесс прогнозирования ИИ - весь путь от ввода до вывода.В последние годы исследовательская группа уже разработала различные методы использования так называемых тепловых карт, чтобы объяснить, как алгоритмы ИИ принимают их решения.

Тепловые карты выделяют определенные области на изображении, которые особенно актуальны для принятого решения.Этот метод стал известен как распространение по уровню значимости (LRP).Важность этого типа объяснимости огромна, поскольку она позволяет нам понять, действительно ли ИИ принимает решения на основе разумных рассуждений или ли он просто изучил стратегии ярлыка и, таким образом, обманывает.

Новый метод CRP опирается на распространение уровня.«Распознавание изображений ИИ является хорошим примером этого», - говорит профессор Войцех Сайк, глава отдела искусственного интеллекта в Fraunhofer HHI, профессоре машинного обучения и коммуникаций в Tu Berlin, и Bifold Fellow.«На уровне ввода метки CRP, которые пиксели в изображении наиболее актуальны для процесса принятия решений искусственным интеллектом. Это важный шаг в понимании решений искусственного интеллекта, но не объясняет основную концепцию того, почему ИИ рассматривает эти точные пиксели. ”

Для сравнения, когда люди видят черно-белую полосатую поверхность, они автоматически не распознают зебру.Для этого им также нужна информация, такая как четыре ноги, копыта, хвост и т. Д.

«CRP передает объяснение из входного пространства, где расположен изображение со всеми его пикселями, в семантически обогащенное концептуальное пространство, образованное более высокими уровнями нейронной сети», - заявляет д -р Себастьян Лапушкин, глава исследовательской группы, объяснимый искусственный интеллектв Fraunhofer HHI, разработав новый метод.

«CRP - это следующий шаг в объяснениях ИИ и предлагает совершенно новые возможности с точки зрения исследования, тестирования и улучшения функциональности моделей ИИ. Мы уже очень рады применять наш новый метод к крупным языковым моделям, таким как CHATGPT».

Больше информации: Reduan Achtibat et al., От карт атрибуции до людей, понимающих человеку, посредством распространения концепции актуальности, интеллекта машин природы (2023).Doi: 10.1038/s42256-023-00711-8