Самая страшная тайна ИИ

«Совсем не ясно — даже ученым и программистам, которые их создают, — как и почему работают генеративный язык и модели изображений», — написал недавно генеральный директор Palantir Алекс Карп в The New York Times.

Что происходит: десятилетиями мы использовали компьютерные системы, которые при одних и тех же входных данных дают одинаковые выходные данные.

• Системы генеративного ИИ, напротив, стремятся выделить несколько возможностей из одной подсказки.
• Вы легко можете получить разные ответы на один и тот же вопрос.

Элемент случайности в генеративном ИИ действует в масштабе, включающем до триллионов переменных, что затрудняет анализ того, как технология приходит к конкретному ответу.

• Конечно, в конечном итоге это все математика. Но это все равно, что сказать, что человеческое тело состоит из атомов. Это правда! Однако, когда вам нужно решить проблему в разумные сроки, это не всегда помогает.

Ведущие новости: недавно четыре исследователя опубликовали статью, показывающую, что пользователи могут преодолевать «ограждения», предназначенные для того, чтобы запретить системам ИИ, например, объяснять, «как сделать бомбу».

• Основные чат-боты, такие как ChatGPT, Bing и Bard, не ответят на этот вопрос, если его задать напрямую. Но они станут более подробными, если вы добавите в подсказку дополнительный код.
• «Возможно, сама природа моделей глубокого обучения делает такие угрозы неизбежными», — пишут исследователи. Если вы не можете точно предсказать, как система отреагирует на новое приглашение, вы не сможете создать прочные ограждения.

Между строк: поскольку разработчики ИИ не могут легко объяснить поведение систем, их область сегодня оперирует как устными традициями и общими уловками, так и точной наукой.

«Это часть знаний о нейронных сетях, которые — в некотором смысле — до тех пор, пока у них есть «примерно правильная» установка», — написал в феврале математик Стивен Вольфрам . «Обычно можно сосредоточиться на деталях, просто проведя достаточную подготовку, — добавил он, — без необходимости «понимать на инженерном уровне», как именно нейронная сеть в конечном итоге настроила себя».

Примечание: эти системы можно настроить так, чтобы они были относительно более или менее случайными, чтобы обеспечить более широкий или узкий диапазон их откликов.

• Разработчики называют этот параметр «температурой» своей модели.

Что делает ChatGPT… и почему это работает? Вольфрам писал, что именно здесь вступает в действие «вуду»:

«По какой-то причине — которая, возможно, когда-нибудь у нас будет понимание в научном стиле — если мы всегда выбираем слово с наивысшим рейтингом, мы обычно получаем очень «плоское» эссе, которое, кажется, никогда не «демонстрирует никакого творчества». (и даже иногда повторяет слово в слово). Но если иногда (наудачу) выбрать слова с более низким рейтингом, то получится «более интересное» сочинение».

Другая сторона: некоторые эксперты утверждают, что «мы не понимаем ИИ» — это корыстный миф.

• «Черный ящик нейронных сетей сильно преувеличен», — написал ранее в этом году в Твиттере ученый-компьютерщик из Принстона Арвинд Нараянан. «У нас есть фантастические инструменты для их обратного проектирования. Барьеры культурные (создание вещей считается круче, чем понимание) и политические (финансирование компаний по сравнению с исследованиями воздействия на общество)».
• Другие критики утверждают , что утверждение «мы не знаем, как это работает» — это уловка, которая помогает компаниям, занимающимся искусственным интеллектом, избежать ответственности.

Все еще остается открытым вопрос, смогут ли производители ИИ со временем дать более глубокие и точные ответы на вопрос, почему и как работают их системы.

Но чем больше компаний создают ИИ, способный разборчиво документировать свой выбор и пути принятия решений, тем больше вероятность того, что мы получим эти ответы.