2 мин. чтения
2/17/2024 11:30:01 AM

Keyframer Apple может оживить простые чертежи, используя текстовые описания

Article Preview Image Поле ввода изображения для добавления кода SVG и предварительного просмотра изображения;РАЗДЕЛ GPT GRIPT для ввода приглашения естественного языка.Кредит: Arxiv (2024).Doi: 10.48550/arxiv.2402.06071

Исследователи машинного обучения в Apple разработали приложение, которое может принять простой рисунок и текстовое описание, чтобы оживить рисунок.Tiffany Tseng, Ruijia Cheng и Jeffrey Nichols опубликовали статью, описывающую новое приложение, называемое KeyFramer, на сервере Arxiv Preprint.

Исследователи ИИ продолжают находить LLM, способные выполнять задачи, которые могут сначала не выглядеть применимыми.В этих новых усилиях исследователи из Apple обнаружили, что LLM GPT-4 способен принимать как простой рисунок (в формате SVG), так и текстовое подсказку, описывающее желаемую анимацию для рисунка, а затем создает анимацию, которая выполняетинструкции.

Например, приложение может принять изображение ракеты, сидящей на стартовой площадке.Сопровождающий текст может читать: «Сделайте ракету запустить в небо с кучей огня, выдувающейся под ним».Затем приложение попытается оживить ракету, чтобы соответствовать подсказке.

Исследователи объясняют, что LLM может быть использован для оживления рисунка, сначала представить, что необходимо сделать, а затем генерируя код анимации CSS.В результате анимация может быть перенесена на другие устройства, а код может быть отредактирован для добавления или удаления дополнительной анимации вручную - также могут быть добавлены новые подсказки.

Они отмечают, что KeyFrame также поддерживает итеративную анимацию, где пользователи могут продолжать добавлять подсказки для улучшения готового продукта после создания каждой анимации - средства для создания желаемого анимационного проекта за короткий период времени.

В своей статье исследователи предполагают, что KeyFramer может подготовить основу для преобразования анимационного ландшафта - если Apple предоставляет его на всех своих аппаратных платформах, например, пользователям больше не понадобятся другие приложения анимации, а некоторые могут использовать его для создания профессионалаПродукты, такие как рекламные ролики.Это также позволяет непрофессионалам создавать продукты профессионального качества с ограниченным количеством усилий.

Больше информации: Tiffany Tseng et al., KeyFramer: расширение возможностей анимации с использованием больших языковых моделей, Arxiv (2024).Doi: 10.48550/arxiv.2402.06071

Получи бесплатную еженедельную рассылку со ссылками на репозитории и лонгриды самых интересных историй о стартапах 🚀, AI технологиях 👩‍💻 и программировании 💻!
Присоединяйся к тысячам читателей для получения одного еженедельного письма

Подписывайся на нас:

Нашли ошибку в тексте? Напишите нам.

Добавляй ЛРНЧ в свою ленту Google Новостей.
Читайте далее 📖

Meta представляет Chameleon, мультимодальную модель раннего слияния

5/23/2024 · 2 мин. чтения

Meta представляет Chameleon, мультимодальную модель раннего слияния

Исследователи используют «умные» резиновые конструкции для выполнения вычислительных задач

5/23/2024 · 2 мин. чтения

Исследователи используют «умные» резиновые конструкции для выполнения вычислительных задач