Легкая нейронная сеть обеспечивает реалистичный рендеринг тканей в режиме реального времени

Кредит: Chen et al.

Недавние достижения в области искусственного интеллекта (ИИ) и вычислительных наук позволили разработать новые инструменты для создания высоко реалистичных сред, виртуальной реальности (VR) и видеоигр.Многие из этих инструментов в настоящее время широко используются графическими дизайнерами, создателями анимационных фильмов и разработчиками видеоигр по всему миру.

Одним из аспектов виртуальных и цифровых сред, которые могут быть трудно реалистично воспроизводить, являются ткани. В то время как уже есть различные вычислительные инструменты для цифрового проектирования реалистичных предметов на основе ткани (например, шарфы, одеяла, подушки, одежду и т. Д.), Создание и редактирование реалистичных визуализаций этих тканей в режиме реального времени может быть сложным.

Исследователи из Университета Шандинг и Университета Нанкин недавно представили новую легкую искусственную нейронную сеть для рендеринга тканых тканей в реальном времени.Предлагаемая сеть, представленная в статье, опубликованной как часть группы по специальностям по компьютерной графике и интерактивным методам конференции. Декодер для создания реалистичных представлений о различных тканях.

«Наша статья происходит от [желания] улучшить реализм виртуального мира в реальном времени»,-сказал Сян Чен, соавтор статьи.

«Ткани широко используются и влияют на реализм, поэтому метод отображения реальных тканей в режиме реального времени-это необходимость. Мы обнаружили, что новейшие модели ткани на поверхности реалистичны, что закладывает основу для рендеринга ткани в реальном времени, поэтому мы попытались предложить метод для его достижения ».

Плетеные ткани (то есть узоры, наблюдаемые в текстиле, которые образуются ткаными нитями), как правило, являются регулярными и повторяющимися. Чен и его коллеги решили использовать повторяющуюся природу, чтобы обеспечить реалистичный рендеринг в режиме реального времени.

Алгоритм, который они разработали, сначала кодирует регулярные узоры тканых тканей в маленький скрытый вектор. Этот вектор затем обрабатывается небольшим декодером, который интерпретирует его и использует информацию, закодированную в нем для создания реалистичных представлений о данной ткани.

«Мы предлагаем нейронную сеть со структурой декодера энкодера»,-объяснил Чен.

Кодируя тканые тканевые материалы в скрытые векторы, наша сеть может представлять несколько типов тканых тканей после обучения. Более того, мы обнаружили, что распределение нашей цели сложное, но может быть разделено. Таким образом, мы разделяем это на четыре более простые части, позволяя легким весам..

В то время как сеть, разработанная исследователями, является минимальной и легкой, она эффективно и быстро создает реалистичные презентации многих типов тканей. В отличие от других вычислительных подходов это позволяет рендерить и впоследствии редактировать визуализированные ткани в режиме реального времени.

В начальных тестах Чен и его коллеги показали, что их алгоритм позволяет рендеринг и редактирование тканых тканей на замечательной скорости 60 кадров в секунду на графической карте Nvidia RTX 3090. Примечательно, что AI также может производить высококачественные визуализации, которые свободны от видимого шума и заметных дефектов.

В будущем нейронная сеть команды может быть интегрирована в платформы графического дизайна, что позволяет дизайнерам еще больше улучшить реализм видеоигр или анимации, которые они создают. Тем временем Чен и его коллеги планируют расширить возможности своего алгоритма, например, позволяя ему реалистично воспроизводить другие текстильные ткани.

«Внедряя модели представления ткани в рендеринг в реальном времени, наш подход может еще больше улучшить реализм различных реальных приложений, таких как видеоигры»,-добавил Чен.

«В настоящее время наш метод поддерживает только тканые ткани, но мы вскоре хотим расширить их на другие типы тканей, такие как трикотажные ткани. Еще одним направлением, которое мы планируем изучить, является представление более сложных тканей».

More information: Xiang Chen et al, Real-time Neural Woven Fabric Rendering, Special Interest Group on Computer Graphics and Interactive Techniques Conference Conference Papers ‘24 (2024). DOI: 10.1145/3641519.3657496. On arXiv: DOI: 10.48550/arxiv.2406.17782