Apple Vision Pro выводит смешанную реальность на новый уровень

Новая гарнитура Apple Vision Pro выводит смешанную реальность на новый уровень реализма и точности с помощью передовых технологий.

Дисплей и качество звука

Если вы наденете Vision Pro, вы останетесь непосредственно в реальности и будете видеть свое окружение, как и раньше. Единственное отличие состоит в том, что знакомые приложения Apple теперь плавают по квартире в виде значков. Пользовательский интерфейс, значки и приложения были слегка адаптированы в трехмерном пространстве и соответствующим образом вписываются в комнату, отбрасывая реалистичные тени в зависимости от реальных условий освещения - так что это не просто плоские 2D-экраны.

Новая гарнитура Apple обещает невероятно четкие изображения, благодаря дисплеям HDR microOLED с разрешением 4K. Это более чем вдвое превышает разрешение большинства гарнитур виртуальной реальности, а OLED предлагает яркие цвета и настоящий черный цвет.

Визуализация трассировки звуковых лучей Apple Vision Pro. | Изображение: Apple

Пространственный звук встроен в процессор. Это позволяет сканировать материалы комнаты с помощью технологии «трассировки звуковых лучей» для оптимизации качества звука.

Это только часть уравнения, поскольку смешанная реальность опирается на несколько камер и датчиков для правильной ориентации видео и звука в 3D-пространстве вокруг вас.

Аккумулятор подключается к гарнитуре через кабель и может носиться на бедре или в кармане. Заряда хватает на два часа.

Гарнитура управляется смесью отслеживания рук и глаз, а также голосового управления. VR-контроллеров не будет.

Камеры и датчики

Apple Vision Pro оснащен несколькими камерами высокого разрешения для захвата видео. Несколько ИК-камер для отслеживания движений головы и рук.

Сканер LiDAR и камера TrueDepth обеспечивают автоматическое 3D-картографирование окружающей среды.

Две цветные камеры обеспечивают прозрачность реальной среды. Восемь дополнительных камер, в том числе инфракрасная и две, направленные прямо вниз, обеспечивают точное отслеживание рук, устраняя необходимость в контроллерах.

Apple Vision Pro включает в себя сканер LiDAR и камеру TrueDepth. | Изображение: Apple

Внутри Vision Pro кольца ИК-камер и осветителей отслеживают движения глаз для интуитивной обработки изображений. Для таких интенсивных вычислений Apple включает недавно разработанный чип R1 для обработки в реальном времени. Чип M2, того же типа, который используется во многих компьютерах Mac и iPad Pro, заботится о графике и общей обработке.

Чип R1 обрабатывает входные сигналы от 12 камер, пяти датчиков и шести микрофонов с задержкой всего 12 мс. Apple отмечает, что это в восемь раз быстрее скорости моргания.

Эта передовая технология должна обеспечить Vision Pro лучший passthrough на рынке. Демонстрационные видеоролики Apple поддерживают эту идею, но мы оставим за собой окончательное суждение, когда устройство поступит в продажу и начнут появляться обзоры.

Посмотри мне в глаза – через дисплей. Реверсивный passthrough

Социальная изоляция, которую генеральный директор Apple Тим Кук, например, всегда называл проблемой, также является тем, что Vision Pro хочет решить. С помощью «EyeSight» глаза владельца становятся видимыми на внешнем дисплее, когда рядом находятся другие люди. Снаружи это выглядит так, как будто вы видите лицо владельца через тонированные очки для дайвинга.

Вместо обычного passthrough Apple также предоставляет обратный passthrough. Apple EyeSight использует линзу для проецирования 3D-изображения под правильным углом к глазам внешнего наблюдателя на переднюю часть Vision Pro. Отслеживание глаз внутри гарнитуры XR основано на четырех высокоскоростных камерах и нескольких инфракрасных светодиодах. Это позволяет выполнять фовеативный рендеринг, что означает, что в полной детализации визуализируется только изображение, находящееся в фокусе глаз. Vision Pro активируется сканированием радужной оболочки глаза, а межзрачковое расстояние можно регулировать механически.

EyeSight от Apple Vision Pro предлагает обратную передачу. | Изображение: Apple

Когда кто-то приблизится, ваши глаза появятся на внешнем дисплее. Существует опасность, что передний дисплей Vision Pro может придать владельцу жуткий вид, известный как «зловещая долина».

Для FaceTime Apple понадобилась цифровая версия лица владельца, поскольку внутренние камеры видят только глаза во время ношения Vision Pro. Внешние камеры Vision Pro могут сканировать ваше лицо и создавать цифровую персону, которая, по утверждению Apple, будет динамически сопоставлять ваши движения лица с реалистичным внешним видом. Соответствие выразительности человеческого лица может оказаться сложной задачей, и мы не уверены, добьется ли Apple успеха.

Apple Vision Pro может сканировать ваше лицо и создавать цифрового аватара. | Изображение: Apple

Persona имеет глубину при просмотре с другого Vision Pro и представляет собой традиционное 2D-изображение на iPhone, iPad и Mac. Это означает, что вы можете общаться по FaceTime с кем-то, надев гарнитуру Apple, и она может быть удивительно похожа на ваше собственное лицо.

Дизайн и комфорт, модульность

Гарнитура VR/AR от Apple выглядит как тонкие лыжные очки. Оголовье служит креплением с широким эластичным ремешком, который предназначен для комфортной поддержки затылка. В отличие от любой другой гарнитуры VR / AR на рынке, эту, можно удобно использовать в положении лежа.

Оголовье может быть не идеальным для фитнеса и спорта, но Apple не показала никаких функций, связанных со спортом.

По словам Apple, маска для лица также сделана из ткани и была разработана на основе тысяч исследований лица, поэтому она адаптируется к индивидуальным формам лица. Маска для лица будет в разных вариациях размеров и форм.

Интересно, что лицевая подушка и оголовье являются модульными и взаимозаменяемыми. Обычные очки не поместятся под Apple Vision Pro. Вместо этого рецептурные линзы Zeiss могут быть прикреплены к предусмотренному магниту.

Apple Vision Pro: съемка и просмотр 3D-фотографий и 3D-фильмов

Вы можете снимать 3D-фотографии и 3D-видео с помощью Apple Vision Pro и просматривать собственную медиатеку в виртуальной реальности. Предполагается, что панорамные фотографии станут более захватывающими, «изгибаясь» вокруг зрителя, как изогнутый монитор.

Полученные «пространственные записи» впоследствии могут быть воспроизведены на гарнитуре смешанной реальности на большом виртуальном экране, окруженном затемненным видом физического окружения.