Keyframer Apple может оживить простые чертежи, используя текстовые описания

Поле ввода изображения для добавления кода SVG и предварительного просмотра изображения;РАЗДЕЛ GPT GRIPT для ввода приглашения естественного языка.Кредит: Arxiv (2024).Doi: 10.48550/arxiv.2402.06071

Исследователи машинного обучения в Apple разработали приложение, которое может принять простой рисунок и текстовое описание, чтобы оживить рисунок.Tiffany Tseng, Ruijia Cheng и Jeffrey Nichols опубликовали статью, описывающую новое приложение, называемое KeyFramer, на сервере Arxiv Preprint.

Исследователи ИИ продолжают находить LLM, способные выполнять задачи, которые могут сначала не выглядеть применимыми.В этих новых усилиях исследователи из Apple обнаружили, что LLM GPT-4 способен принимать как простой рисунок (в формате SVG), так и текстовое подсказку, описывающее желаемую анимацию для рисунка, а затем создает анимацию, которая выполняетинструкции.

Например, приложение может принять изображение ракеты, сидящей на стартовой площадке.Сопровождающий текст может читать: «Сделайте ракету запустить в небо с кучей огня, выдувающейся под ним».Затем приложение попытается оживить ракету, чтобы соответствовать подсказке.

Исследователи объясняют, что LLM может быть использован для оживления рисунка, сначала представить, что необходимо сделать, а затем генерируя код анимации CSS.В результате анимация может быть перенесена на другие устройства, а код может быть отредактирован для добавления или удаления дополнительной анимации вручную - также могут быть добавлены новые подсказки.

Они отмечают, что KeyFrame также поддерживает итеративную анимацию, где пользователи могут продолжать добавлять подсказки для улучшения готового продукта после создания каждой анимации - средства для создания желаемого анимационного проекта за короткий период времени.

В своей статье исследователи предполагают, что KeyFramer может подготовить основу для преобразования анимационного ландшафта - если Apple предоставляет его на всех своих аппаратных платформах, например, пользователям больше не понадобятся другие приложения анимации, а некоторые могут использовать его для создания профессионалаПродукты, такие как рекламные ролики.Это также позволяет непрофессионалам создавать продукты профессионального качества с ограниченным количеством усилий.

Больше информации: Tiffany Tseng et al., KeyFramer: расширение возможностей анимации с использованием больших языковых моделей, Arxiv (2024).Doi: 10.48550/arxiv.2402.06071