Рендеринг трехмерных изображений по отражениям со зрачка при помощи NeRF

Исследователи из Университета Мэриленда смогли захватить этот отраженный свет и извлечь трехмерную модель окружающей среды. В статье на arXiv команда описывает методы, используемые для захвата отражений глаз и преобразования их в согласованные 3D-визуализации с использованием специально обученного алгоритма визуального рендеринга AI под названием NeRF.

Поле нейронного излучения (NeRF) — это нейронная сеть искусственного интеллекта, которая может генерировать новые непрерывные виды сложных 3D-сцен на основе нескольких 2D-изображений. Как правило, с несколькими десятками неподвижных изображений под разными углами, NeRF может генерировать 3D-представление с достаточной глубиной и детализацией, чтобы быть почти неотличимым от видео, которое может перемещаться по объекту или пространству.

В нынешних усилиях команды из Мэриленда они начинают с нескольких изображений с камеры высокого разрешения в фиксированном положении, сфокусированных на движущемся человеке, смотрящем в сторону камеры, в рамке, как фотография паспорта или водительских прав. При увеличении отражения в глазу изображенного человека видно зеркальное отражение поля зрения, и объекты в этой области можно идентифицировать.

Реконструкция поля сияния с помощью отражений глаз. Человеческий глаз обладает высокой отражающей способностью. Мы показываем, что из последовательности кадров, на которых запечатлена движущаяся голова, мы можем реконструировать и визуализировать 3D-сцену того, что наблюдает человек, используя только отражения от его глаз. Предоставлено: arXiv (2023). DOI: 10.48550/arxiv.2306.09348

На изображении присутствуют всевозможные артефакты глаза, сложность текстур радужной оболочки и узнаваемые, но с низким разрешением отражения. Чтобы удалить радужную оболочку с изображений, была выполнена декомпозиция текстуры путем обучения 2D-текстурной карты, которая изучает текстуру радужной оболочки и удаляет ее.

Используя геометрию роговицы, которая примерно одинакова у всех взрослых, были сделаны расчеты, чтобы точно отслеживать, куда смотрят их глаза. Это также позволяет определять угол наклона камеры, наносить координаты изображений на изогнутую геометрию и задавать направление обзора для NeRF AI, которое позже будет использоваться для реконструкции 3D-рендеринга. Несмотря на тонкие неточности в расположении роговицы и оценках геометрии, метод был эффективен при реконструкции сцены.

Зональные светильники, размещенные по бокам человека (вне кадра), использовались для освещения интересующего объекта перед ним. Человека попросили перемещаться в поле зрения камеры, поскольку было снято несколько изображений.

При тестировании метода на человеческом глазу виден рендеринг изображения с очень скромным разрешением, зато в 3D-рендеринге была карта глубины.

В более идеализированном синтетическом тесте с использованием фальшивого глаза перед цифровым изображением более очевидное изображение было достигнуто с улучшенным разрешением 3D-отображения.

Третий тест применил этот метод к полученным изображениям отражения глаз из музыкальных клипов Майли Сайрус и Леди Гаги в попытке реконструировать то, что они наблюдают во время съемок своих видео.

В глазах Леди Гаги в клипах ученые нашли то, что можно было бы интерпретировать как камеру на штативе, но изображение нечеткое.

В более обыденной ситуации, такой как звонок в Zoom или серия селфи-постов, освещение может быть более благоприятным для сбора информации об окружающей обстановке.

Подробнее: Hadi Alzayer et al, Seeing the World through Your Eyes, arXiv (2023).

DOI: 10.48550/arxiv.2306.09348 🔗

Страница проекта: https://world-from-eyes.github.io/ 🔗