Videogigagan от Adobe использует ИИ, чтобы сделать размытые видео острые и чистые

Мы представляем VideoGigagan, генеративную видео-модель супер-разрешения, которая может увеличить видео с высокочастотными деталями при сохранении временной последовательности.Вверху: мы показываем сравнение нашего подхода с согласованностью TTVSR и BasicVSR ++.Наш метод создает временно последовательные видео с более мелкозернистыми деталями, чем предыдущие методы.Внизу: наша модель может создавать высококачественные видео с 8 × супер-разрешение.Кредит: Arxiv (2024).Doi: 10.48550/arxiv.2404.12388

В последнее время приложения ИИ были в новостях, в основном из -за выпуска LLM, таких как CHATGPT, который потребители могут использовать для получения широкого спектра выводов.Но исследования ИИ продолжались и в других областях, такие как создание искусственных изображений и видео.

В этом новом усилии команда Adobe создала приложение, которое может принять размытый образец видео и после обработки, вернуть тот же образцы с значительно повышенной резкостью и ясностью, также известной как расширение.

Он называется VideoGigagan - название происходит от его ранее продемонстрированного приложения Gigagan, которое генерировало новые фотографии или улучшенные старые.Ган означает генеративную состязательную сеть.

Как следует из названия, команда использовала генеративную состязательную сеть, чтобы научить систему, как выглядит резкое и четкое видео (например, отдельные волосы в бровях, а не размытая масса), а затем добавил «модуль распространения с потоком», чтобы сохранить, чтобы сохранитьВещи последовательны между видео кадрами.

Они также использовали методы с анти-альцами, чтобы предотвратить то, что они описывают как «странность ИИ», и высокочастотный шаттлинг для обработки неожиданного снижения качества видео.

Результат, утверждает команда,-это система, которая может высококлажать качество видео изображения до восьми раз-все не вводя нечетную окраску, неровные строки или другие хорошо известные проблемы с изображениями, сгенерированными AI и видео.

Они признают, что часть вывода полностью искусственно генерируется на основе оценок, сделанных системой, поскольку она стремится заполнить отсутствующие образы.Например, поры в коже, или линии вокруг глаз или даже ресниц, добавляются, чтобы придать полученному видео четкое и четкое качество.

Команда отмечает, что на данный момент объявление системы является демонстрацией, а не ожидающего выпуска;Таким образом, неясно, будет ли Adobe выпустить его для общего использования.

Больше информации: Yiran Xu et al., VideoGigagan: к богатым деталям Video Super-Resolution, Arxiv (2024).Doi: 10.48550/arxiv.2404.12388

Страница веб -сайта проекта: https://videogigagan.github.io/ 🔗