Исследователи открывают генерацию трехмерного движения для взаимодействия с ручным объектом
Рисунок 1. Учитывая текст и каноническую сетку объекта в качестве подсказок, исследовательская группа сгенерировала трехмерное движение для взаимодействия с ручным объектом, не требуя траектории объекта и начальной позы рук.Они представляли правую руку с светлым цветом кожи и левой рукой с темным цветом кожи.Артикуляция коробки в первом ряду контролируется путем оценки угла для предварительно определенной оси коробки.Кредит: Arxiv (2024).Doi: 10.48550/arxiv.2404.00562
Технология, которая обеспечивает точное трехмерное движение с простым текстовым вводом без необходимости в сложных начальных настройках, была разработана профессором Сынгриулом Бэком и его исследовательской группой в аспирантуре искусственного интеллекта в Unist.
Эта технология, известная как Text2hoi, позволяет взаимодействовать между руками и объектами на основе ввода текста в окно приглашения, прокладывая путь к достижениям в коммерциализации поля 3D виртуальной реальности.
Text2HOI способен выполнять действия, такие как удержание и взаимодействие с объектами с помощью текстовых команд.Его приложения обширны, охватывают различные отрасли, включая виртуальную реальность (VR), робототехнику и медицинскую помощь, предлагая легкую удобство использования из -за его оптимизированного процесса настройки.
Анализируя текст пользователя, Text2hoi предсказывает точки контакта, связанные с движениями рук в ответ на объект команды.Например, команда «передать яблоко обеими руками», вероятно, будет рассчитывать вероятной контактной точки между руками и яблоком.
Это обеспечивает точные движения рук при подъеме яблока, регулируя положение рук и угол в зависимости от размера и формы яблока.
Универсальность этой технологии позволяет интегрировать его в различные сектора, от моделирования медицинских процедур до контроля поведения персонажа в играх и виртуальной реальности, а также практически содействие сложным научным экспериментам.В сфере робототехники Text2hoi открывает возможности для естественного взаимодействия с роботами посредством точного управления движением рук.
Профессор Бэк выразил оптимизм в отношении широких применений для Text2hoi, отметив его потенциал для продвижения виртуальной реальности (VR/AR), робототехники и медицинских областей.Он подчеркнул приверженность продолжению исследований, которые приносят пользу обществу.
Первый автор Junuk Cha подчеркнул потенциал для Text2hoi служить фундаментальным инструментом для связывания текстовых подсказок с интерактивными движениями рук и объектов, тем самым способствуя дальнейшим исследованиям в этой области.
Результаты этого исследования будут опубликованы в онлайн -версии конференции по компьютерному видению и распознаванию шаблонов и в настоящее время доступны на сервере ARXIV Preprint.
More information: Junuk Cha et al, Text2HOI: Text-guided 3D Motion Generation for Hand-Object Interaction, arXiv (2024). DOI: 10.48550/arxiv.2404.00562
Нашли ошибку в тексте? Напишите нам.