6 мин. чтения
11/17/2023 11:24:59 AM

Техника позволяет ИИ -устройствам продолжать обучение со временем

Article Preview Image Метод машинного обучения, разработанный исследователями из MIT и других мест, позволяет моделям глубокого обучения, например, те, которые лежат в основе чат-ботов ИИ или смарт-клавиатуры, эффективно и непрерывно учиться на новых пользовательских данных непосредственно на устройстве с краем, как смартфон.Кредит: MIT News

Поскольку смартфонам и другим краевым устройствам не хватает памяти и вычислительной мощности, необходимой для этого процесса точной настройки, пользовательские данные обычно загружаются на облачные серверы, где модель обновляется.Но передача данных использует много энергии, а отправка конфиденциальных пользовательских данных на облачный сервер представляет риск безопасности.

Исследователи из MIT, лаборатории MIT-IBM Watson AI и в других местах разработали метод, который позволяет моделям глубокому обучению эффективно адаптироваться к новым данным датчика непосредственно на краевом устройстве.

Их метод обучения на грани, называемый Pockengine, определяет, какие части огромной модели машинного обучения необходимо обновить для повышения точности, а также хранят и вычисляют с этими конкретными частями.Он выполняет основную часть этих вычислений, в то время как модель готовится перед временем выполнения, что сводит к минимуму вычислительные накладные расходы и повышает скорость процесса тонкой настройки.

По сравнению с другими методами, Pockengine значительно ускорился на тренировках, выполняя в 15 раз быстрее на некоторых аппаратных платформах.Более того, Pockengine не заставлял модели, чтобы ухудшиться точность.Исследователи также обнаружили, что их метод точной настройки позволил популярному AI Chatbot более точно ответить на сложные вопросы.

«Тонкая настройка на концерте может обеспечить лучшую конфиденциальность, снижение затрат, способность настройки, а также обучение на протяжении всей жизни, но это не просто.но также обучение на граничном устройстве. С Pockengine, теперь мы можем »,-говорит Сонг Хан, доцент кафедры электротехники и компьютерных наук (EECS), член лаборатории MIT-IBM Watson AI, выдающегося ученых.в NVIDIA и старший автор бумаги с открытым доступом, описывающей Pockengine, размещенный на сервере Arxiv Preprint.

Хан присоединился к газете ведущим автором Лигенгом Чжу, аспирантом EECS, а также другими в MIT, в лаборатории MIT-IBM Watson AI и в Калифорнийском университете Сан-Диего.Документ был недавно представлен на Международном симпозиуме IEEE/ACM по микроархитектуре.

Модели глубокого обучения основаны на нейронных сетях, которые составляют множество взаимосвязанных слоев узлов или «нейронов», которые обрабатывают данные для прогнозирования.Когда модель запускается, процесс, вызванный выводом, вход данных (например, изображение) передается из слоя к слою, пока прогноз (возможно, метка изображения) не будет выводится в конце.Во время вывода каждый слой больше не должен храниться после того, как он обрабатывает вход.

Но во время обучения и точной настройки модель подвергается процессу, известному как обратное распространение.В обратном распространении выходной сигнал сравнивается с правильным ответом, а затем модель запускается в обратном направлении.Каждый слой обновляется по мере того, как вывод модели становится ближе к правильному ответу.

Поскольку каждый слой может потребоваться обновить, должна храниться вся модель и промежуточные результаты, что делает тонкую настройку большей памяти, чем вывод

Однако не все уровни в нейронной сети важны для повышения точности.И даже для слоев, которые важны, весь слой, возможно, не потребуется обновлять.Эти слои и кусочки слоев не нужно хранить.Кроме того, не нужно, возможно, не нужно возвращаться к первому слою, чтобы повысить точность - процесс может быть остановлен где -то посередине.

PockEngine использует эти факторы, чтобы ускорить процесс тонкой настройки и сократить объем вычислений и требуемой памяти.

Система сначала настраивает каждый слой, по одному, по определенной задаче и измеряет повышение точности после каждого отдельного уровня.Таким образом, Pockengine идентифицирует вклад каждого уровня, а также компромиссы между точностью и затратами на тонкую настройку и автоматически определяет процент каждого уровня, который необходимо настраивать.

«Этот метод совпадает с точностью очень хорошо по сравнению с полным размножением спины по разным задачам и различным нейронным сетям», - добавляет Хан.

Традиционно график обратного распространения генерируется во время выполнения, что включает в себя много вычислений.Вместо этого Pockengine делает это во время компиляции, в то время как модель готовится к развертыванию.

PockEngine удаляет кусочки кода, чтобы удалить ненужные слои или части слоев, создавая окрашенный график модели, которая будет использоваться во время выполнения.Затем он выполняет другие оптимизации на этом графике, чтобы повысить эффективность.

Поскольку все это должно быть сделано только один раз, он сохраняет вычислительные накладные расходы на время выполнения.

«Это как бы перед отправлением в поездку в поход. Дома вы сделаете тщательное планирование - какие трассы вы собираетесь идти, на каких трассах вы собираетесь игнорировать. Так что во время исполнения, когда вы на самом деле отправитесь в поход,У вас уже есть очень осторожный план, - объясняет Хан.

Когда они применяли Pockengine к моделям глубокого обучения на разных устройствах, включая чипы Apple M1 и цифровые сигнальные процессоры, обычные во многих смартфонах и компьютерах Raspberry Pi, он выполнял обучение на устройстве в 15 раз быстрее, без какого-либо падения в точности.Pockengine также значительно сократил количество памяти, необходимой для точной настройки.

Команда также применила технику к большой языковой модели Llama-V2.По словам Хан, с помощью крупных языковых моделей процесс тонкой настройки включает в себя много примеров, и для модели крайне важно научиться взаимодействовать с пользователями.Процесс также важен для моделей, которым поручено решение сложных проблем или рассуждений о решениях.

Например, модели LlaMa-V2, которые были настраивались с использованием Pockengine, ответили на вопрос: «Что такое последний альбом Майкла Джексона?»Правильно, в то время как модели, которые не были тонкими, не удались.Pockengine сократил время, которое потребовалось для каждой итерации процесса тонкой настройки от семи секунд до менее чем на одну секунду на Nvidia Jetson Orin, краевой платформе графических процессоров.

В будущем исследователи хотят использовать Pockengine для точной настройки еще более крупных моделей, предназначенных для обработки текста и изображений вместе.

“В этой работе решаются растущие проблемы с эффективностью, связанные с принятием крупных моделей искусственного интеллекта, таких как LLMS в различных приложениях во многих различных отраслях.Модели ИИ в облаке »,-говорит Эри Макрости, старший менеджер Amazon в области искусственного общего разведки, который не участвовал в этом исследовании, но работает с MIT по связанным исследованиям ИИ через научный центр MIT-амазон.

Больше информации: Ligeng Zhu et al., Pockengine: Sparse и эффективная тонкая настройка в кармане, Arxiv (2023).Doi: 10.48550/arxiv.2310.17752

Эта история переиздана любезно предоставлена MIT News (web.mit.edu/newsoffice/), популярный сайт, который охватывает новости о исследованиях, инновациях и преподавании MIT.

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Опрос о федеративном обучении: перспектива из многопартийных вычислений

2/29/2024 · 6 мин. чтения

Опрос о федеративном обучении: перспектива из многопартийных вычислений

Квантовые отжиги и будущее основной факторизации

2/22/2024 · 6 мин. чтения

Квантовые отжиги и будущее основной факторизации