Исследование устанавливает теорию сверхпараметризации в квантовых нейронных сетях

«Мы считаем, что наши результаты будут полезны при использовании машинного обучения для изучения свойств квантовых данных, таких как классификация различных фаз материи в исследованиях квантовых материалов, что очень сложно на классических компьютерах», — сказал Диего Гарсия-Мартин, научный сотрудник Лос-Аламосской национальной лаборатории. Он является соавтором новой статьи команды из Лос-Аламоса о технике, опубликованной в Nature Computational Science.

Машинное обучение, или искусственный интеллект, обычно включает в себя обучение нейронных сетей обработке информации — данных — и обучению тому, как решать заданную задачу. В двух словах, можно думать о нейронной сети как о блоке с ручками или параметрами, который принимает данные в качестве входных данных и выдает выход, зависящий от конфигурации ручек.

«На этапе обучения алгоритм обновляет эти параметры по мере обучения, пытаясь найти их оптимальную настройку», — сказал Гарсия-Мартин. «Как только оптимальные параметры будут определены, нейронная сеть должна иметь возможность экстраполировать то, что она узнала из обучающих экземпляров, на новые и ранее невидимые точки данных».

Как классический, так и квантовый ИИ имеют общую проблему при обучении параметров, поскольку алгоритм может достичь неоптимальной конфигурации при обучении и заглохнуть.

Прирост производительности

Чрезмерная параметризация, хорошо известная концепция в классическом машинном обучении, которая добавляет все больше и больше параметров, может предотвратить эту остановку.

Последствия чрезмерной параметризации в моделях квантового машинного обучения до сих пор были плохо изучены. В новой статье команда из Лос-Аламоса устанавливает теоретическую основу для прогнозирования критического числа параметров, при которых модель квантового машинного обучения становится чрезмерно параметризованной. В определенный критический момент добавление параметров приводит к скачку производительности сети, и модель становится значительно проще в обучении.

«Установив теорию, лежащую в основе сверхпараметризации в квантовых нейронных сетях, наше исследование прокладывает путь к оптимизации процесса обучения и достижению повышенной производительности в практических квантовых приложениях», — объяснил Мартин Ларокка, ведущий автор рукописи и научный сотрудник в Лос-Аламосе.

Используя преимущества аспектов квантовой механики, таких как запутанность и суперпозиция, квантовое машинное обучение обещает гораздо большую скорость или квантовое преимущество, чем машинное обучение на классических компьютерах.

Сверхпараметризация в квантовых нейронных сетях (QNN). а) Описание квантовой схемы QNN. Имея низкое (большое) число параметров, человек не может (не может) исследовать все соответствующие направления в гильбертовом пространстве, и, таким образом, QNN недопараметризован (перепараметризован). б) Серая поверхность соответствует неограниченному ландшафту функции потерь. Недостаточно параметризованный QNN исследует низкоразмерный разрез функции потерь (1D-разрез по красным линиям). Здесь оптимизатор может попасть в ловушку ложных локальных минимумов (синий сегмент), которые негативно влияют на оптимизацию параметров. Увеличивая количество параметров, превышающих некоторый порог M, можно исследовать более многомерный разрез ландшафта (2D-разрез над зеленой областью). Как показано, некоторые предыдущие ложные локальные минимумы соответствуют седловым точкам (синий сегмент), и оптимизатор может избежать ложной ловушки. Кредит: arXiv DOI: 10.48550/arxiv.2109.11676c

Как избежать ловушек в ландшафте машинного обучения

Чтобы проиллюстрировать выводы команды Лос-Аламоса, Марко Сересо, старший научный сотрудник и квантовый теоретик в лаборатории, описал мысленный эксперимент, в котором турист, ищущий самую высокую гору в темном ландшафте, представляет собой тренировочный процесс. Турист может шагать только в определенных направлениях и оценивает свой прогресс, измеряя высоту с помощью ограниченной системы GPS.

По словам Сересо, в этой аналогии количество параметров в модели соответствует направлениям, доступным для движения туриста. «Один параметр позволяет двигаться вперед и назад, два параметра позволяют боковое движение и так далее», — сказал он. Ландшафт данных, вероятно, будет иметь более трех измерений, в отличие от нашего гипотетического туристического мира.

Из-за слишком малого количества параметров пешеход не может тщательно исследовать и может принять небольшой холм за самую высокую гору или застрять в равнинной области, где любой шаг кажется бесполезным. Однако по мере увеличения количества параметров пешеход может двигаться в большем количестве направлений в более высоких измерениях. То, что изначально казалось местным холмом, может оказаться возвышенной долиной между вершинами. Благодаря дополнительным параметрам турист избегает попадания в ловушку и находит истинную вершину или решение задачи.

Подробнее: Martín Larocca et al, Theory of overparametrization in quantum neural networks, Nature Computational Science (2023). DOI: 10.1038/s43588-023-00467-6. 🔗

www.nature.com/articles/s43588-023-00467-6 🔗. DOI: 10.48550/arxiv.2109.11676