Модель для планирования и управления движениями гуманоидов в 3D средах

Планирование пути и управление движением Пламо анимирует гуманоид в сложной трехмерной сцене.Вход состоит из физически смоделированной трехмерной сцены и серии текстовых инструкций, описывающих высокоуровневые навигационные достопримечательности и тип локомоции («Высыпайте от дерева до свинга»).Сцена может содержать разнообразную местность (гравий, лестница), 3D препятствия и динамические препятствия (здесь, зеленый мяч).Выход представляет собой последовательность моторных действий, управляющих гуманоидным символом.Plamo создает запланированный путь вместе с профилем головы и скорости, который соответствует текстовому руководству (тип передвижения) и ограничениями контроллера движения.Кредит: Hallak et al.

Вычислительно генерируя реалистичные движения для виртуальных гуманоидных персонажей могут иметь интересные последствия для разработки видеоигр, анимационных фильмов, опыта виртуальной реальности (VR) и другого медиа -контента.Тем не менее, среда, изображенные в видеоиграх и анимации, часто очень динамичны и сложны, что может сделать предложения по планированию гуманоидов, представленных в этих средах более сложными.

Исследователи из Nvidia Research в Израиле недавно представили Plamo (Plan and Move), новый вычислительный подход для планирования движений гуманоидов в сложных трехмерных, физически моделируемых мирах.Их подход, представленный в статье, опубликованном на сервере Arxiv Preprint, состоит из планировщика пути с учетом сцены и надежной политики контроля.

«Контроль гуманоидов в сложных физически смоделированных мирах является давней проблемой с многочисленными приложениями в области игр, моделирования и создания визуального контента»,-написали Ассаф Халлак, Гал Далал и их коллеги в своей статье.

«В нашей настройке, учитывая богатую и сложную трехмерную сцену, пользователь предоставляет список инструкций, состоящих из целевых местоположений и типов локомоции. Чтобы решить эту задачу, мы представляем Plamo, планировщик пути сцены и надежный контроллер на основе физики. ”

Большинство предыдущих исследований, направленных на планирование движений гуманоидных символов в 3D -моделируемых средах, сосредоточенных на разработке либо планировщика, либо контроллера, а не обоих.Поскольку задачи выполняют эти два типа моделей (то есть планирование и выполнение движений гуманоида) взаимозависимы, Халлак, Далал и их коллеги решили разработать вычислительный подход, который решал их обоих.

«Планировщик пути создает последовательность путей движения, учитывая различные ограничения, которые сцена налагает на движение, такие как местоположение, высота и скорость», - написали Халлак, Далал и их коллеги.«Дополняя планировщик, наша политика контроля генерирует богатое и реалистичное физическое движение, придерживающиеся плана».

Исследователи проверили Plamo в серии симуляций, используя его для планирования и выполнения движений гуманоида SMPL, виртуального агента гуманоида с нейтральной структурой тела (то есть без чертов лица, волос, одежды и т. Д.).Они управляли своими симуляциями по Исаакгиме, физике, основанной на среде для подкрепления, разработанной в NVIDIA.

Результаты этих тестов были очень многообещающими, так как было обнаружено, что подход Plamo эффективно планирует и выполняет движения гуманоидов SMPL в сложных смоделированных ландшафтах, следующих по текстовым инструкциям.Примечательно, что компонент планировщика подхода был обнаружен, объясняет движения гуманоидного персонажа на неровных местах, а также статические и динамические препятствия в окружающей среде.

Контроллер движения, в свою очередь, был обнаружен надежно отслеживает пути, запланированные планировщиком, выполняя сложные и сцены движения для гуманоидов, таких как ползание под низким висящим потолком или быстро движущимся, чтобы избежать приближающегося препятствия.

В целом, комбинация двух модулей была высокоэффективной, создавая реалистичные движения в ответ на изменения в окружающей среде.

«Пламо сосредотачивается на планировании и контроле», - написали Халлак, Далал и их коллеги.«Это открывает возможности для сочетания его с современными языковыми моделями и пониманием трехмерной сцены. Имея в виду эти расширения, мы рассматриваем Пламо как ступеньРич имитируемый виртуальный мир “.

More information: Assaf Hallak et al, PlaMo: Plan and Move in Rich 3D Physical Environments, arXiv (2024). DOI: 10.48550/arxiv.2406.18237