Исследование: визуальные аналогии для ИИ

Примеры некоторых визуальных задач для проверки интеллекта у людей против ИИ.Кредит: Arxiv (2023).Doi: 10.48550/arxiv.2305.07141

Чтобы решить эти аргументы, нам нужны конкретные задачи, чтобы закрепить и проверить понятие интеллекта, утверждают исследователей SFI Арсени Москвичев, Мелани Митчелл и Виктор Викрам ОдуарArxiv Preprint Server.Авторы предоставляют именно это - и обнаруживают, что даже самые продвинутые ИИ все еще далеко отстают от людей в своей способности абстрагировать и обобщать концепции.

Команда создала оценочные головоломки, основанные на домене, разработанном исследователем Google François Cholet,-это внимание на визуальной аналогии, захватывая основные концепции, такие как выше, ниже, в центре, внутри и снаружи.Теста на человека и ИИ показали несколько моделей, демонстрирующих концепцию, а затем попросили применить эту концепцию к другому образу.На рисунке ниже показаны тесты понятия одинаковости.

Эти визуальные головоломки были очень просты для людей: например, они получили понятие сходства в 88% случаев.Но GPT-4 боролся, только 23% этих головоломок правильно.Таким образом, исследователи приходят к выводу, что в настоящее время программы искусственного интеллекта по -прежнему слабы в визуальных абстрактных рассуждениях.

«Мы много рассуждаем по аналогиям, поэтому это такой интересный вопрос», - говорит Москвичев.Использование команды новых визуальных головоломок гарантировало, что машины не сталкивались с ними раньше.GPT-4 обучался большим частям Интернета, поэтому было важно избегать того, что он мог бы столкнуться уже, чтобы быть уверенным, что это не просто попугайный существующий текст, а не демонстрирует свое собственное понимание.Вот почему недавние результаты, такие как способность искусственного интеллекта хорошо забивать на бар -экзамене, не является хорошим испытанием его истинного интеллекта.

Команда считает, что со временем алгоритмы искусственного интеллекта улучшаются, разработка процедур оценки будет постепенно более сложной и важнее.Вместо того, чтобы пытаться создать один тест интеллекта ИИ, мы должны разработать более тщательно кураторские наборы данных, посвященные конкретным аспектам интеллекта.«Чем лучше наши алгоритмы, тем сложнее выяснить, что они могут и не могут сделать», - говорит Москвичев.«Таким образом, мы должны быть очень вдумчивыми в разработке наборов данных».

Больше информации: Arseny Moskvichev et al.Doi: 10.48550/arxiv.2305.07141