Vision Pro: что нужно знать о шлеме смешанной реальности от Apple

5 июня Apple представила шлем смешанной реальности Vision Pro. Это первый абсолютно новый продукт компании за несколько лет.

Как писали СМИ, работа над этим шлемом стартовала еще в 2015 году. Изначально Apple планировала создать легкие очки смешанной реальности, которые можно было бы носить с собой. Но инженеры отказались от этой идеи из-за технологических трудностей и начали работать над более громоздким устройством. Презентация устройства несколько раз переносилась, но в 2023 году Apple все же рассказала о нем.

Рассказываем, что уже известно о шлеме.

Vision Pro — шлем смешанной реальности. Он может работать в двух режимах: полностью скрывать реальный мир или дополнять его. Переключаться между режимами можно с помощью колесика Digital Crown. Чтобы размыть реальный мир или, наоборот, проявить его, нужно прокрутить колесико.

Apple не раскрыла массу устройства. По словам журналистов, Vision Pro весит меньше 500 грамм. Apple использовала легкие материалы — корпус выполнен из алюминия. Для максимального снижения веса компания отказалась от встроенного аккумулятора. Пользователям придется носить с собой в кармане внешний или подключать шлем к источнику питания.

Управлять устройством нужно взглядом и движениями рук. Физических контроллеров нет. Например, для открытия приложения или окна нужно коснуться большого пальца указательным. А для прокрутки можно просто двигать запястьем. Камеры и сенсоры устройства обнаруживают руки пользователя, даже если они находятся на коленях.

За авторизацию отвечает Optic ID. Это новая технология аутентификации, похожая на Touch ID и Face ID. Она сканирует радужную оболочку глаз того, кто надел шлем, и сравнивает ее с данными владельца устройства. Apple утверждает, что система может различить даже близнецов.

Технология EyeSight поможет частично оставаться в реальном мире. Когда пользователь Vision Pro общается с другими людьми, они могут увидеть его глаза через шлем. Но на самом деле это съемка изнутри устройства, стекло непрозрачное.

Глаза отображаются на экране, если пользователь находится в режиме дополненной реальности. То есть, видит окружающий мир, но использует AR-технологии.

Если пользователь находится в режиме виртуальной реальности и вообще не видит реальный мир, на дисплее Vision Pro другим людям будет показываться анимация, а не глаза пользователя. Если они к нему подойдут, владелец Vision Pro увидит их сквозь виртуальную реальность, и на дисплее появятся его глаза.

Люди с проблемами со зрением тоже смогут пользоваться Vision Pro. Но им придется дополнительно купить линзы Zeiss, которые затем нужно закрепить на устройстве.

Гарнитура подстраиваться под конкретного пользователя. При первой настройке расстояние между линзами-экранами изменится в зависимости от расстояния между глазами. Пользователи смогут регулировать упругость и длину ремешка, который удерживает шлем на голове.

Vision Pro умеет снимать трехмерные фото и видео. Эти файлы можно потом просматривать на шлеме и будто возвращаться во время, когда их отсняли.

Также в Vision Pro открываются обычные фото и видео из библиотеки iCloud. Панорамные фотографии растягиваются вокруг поля зрения пользователя, как будто он прямо сейчас находится на месте съемки.

Новая гарнитура работает под управлением visionOS. Это новая операционная система со своим магазином приложений. Пользователям будут доступны все стандартные приложения: Safari, «Сообщения», «Заметки», FaceTime и «Карты». Apple обещает поддержку сотни приложений, популярных на Айфонах и Айпадах.

Apple не объяснила, почему в названии устройства есть слово Pro. Впервые с 2006 года компания представила сразу профессиональное устройство, пропустив более простую версию для обычных пользователей.

В случае с Айфонами, Макбуками, часами и наушниками разница между обычной линейкой и продвинутой очевидна — это более мощное устройство, которое предназначено для определенных задач. Журналисты отмечают, что на презентации Apple почти не уделила внимания профессиональным задачам, для которых подойдет это устройство, а показала лишь бытовое применение.

Компания их почти не озвучила. Но вот что уже известно:

• два дисплея, которые выполнены по технологии microLED. Они способны отображать 23 миллиона пикселей. Каждый дисплей дает разрешение больше, чем 4К;
• пять датчиков, 12 камер, шесть микрофонов и два динамика;
• Vision Pro работает на двух чипах: M2 Ultra и новом R1;
• задержка вывода изображения с камер составляет 12 миллисекунд;
• есть активная система охлаждения;
• от внешнего аккумулятора устройство может проработать до двух часов.

Пока ответа на этот вопрос нет. Это первый продукт Apple, после презентации которого сложно выделить хотя бы узкую группу людей, которые могут купить устройство для регулярного использования. Но все же есть несколько ключевых сценариев, ради которых можно приобрести шлем.

Фильмы и сериалы. Это один из самых вероятных популярных сценариев. На старте продаж покупателям будет доступен каталог фильмов из Apple TV+ и Disney+. Пользователи смогут менять размер виртуального экрана и перемещать его в пространстве. Также будет отдельный режим для просмотра кино — имитация зала кинотеатра с затемнением фона вокруг. Apple использует формат Immersive Video, который позволяет смотреть видео с углом зрения 180 градусов.

Скорее всего, отслеживание глаз позволит пользователям четко фокусироваться на определенных объектах из фильма и больше погружаться в просмотр. Корреспондент The Verge пишет, что разница в картинке по сравнению с обычными мониторами напоминает переход от SD-телевизора к 4K-устройству.

Спортивные события. Их можно будет смотреть с дополнительным контентом на виртуальном экране: расстановкой команд, счетом и ходом игры. Но это касается только тех игр, которые игры Apple снимает собственными камерами. Они позволят владельцу Vision Pro ощутить себя прямо на площадке. Во время презентации показали дополнительные возможности при просмотре баскетбольных и футбольных матчей, а также гонок «Формулы 1».

По данным Business Insider, транслировать спортивные события будет телеканал ESPN. Пользователи смогут смотреть до пяти игр одновременно и переключаться между камерами.

Игры. На старте пользователи смогут сыграть в более чем 100 тайтлов сервиса Apple Arcade. Для этого понадобится контроллер, например, от Xbox или PlayStation. Во время презентации компания уделила много времени играм и пообещала развивать это направление.

Apple объявила о партнерстве с компанией Unity. Пользователям шлема будут доступны игры и программы, созданные на движке разработчика.

Созвоны. Apple несколько раз за время презентации показала, как пользователи могут использовать шлем для созвонов с коллегами в FaceTime. Другие участники беседы видят цифровое представление собеседника.

Это не потоковое видео — лицо генерирует нейросеть.

Рабочие задачи. Vision Pro можно использовать как дополнение к Макбуку. Снимать шлем для этого не придется. Один из сценариев: вывести в дополнительную реальность некоторые окна, а основную работу продолжать делать на ноутбуке. Гарнитура поддерживает физическую клавиатуру и трекпад.

Владелец Vision Pro сможет вывести на виртуальный экран несколько приложений одновременно, а потом переключаться между ними поворотом головы. Apple уверяет, что пользователь без труда прочтет даже самый мелкий текст.

После презентации Vision Pro показали журналистам, которые были аккредитованы на WWDC. Они не смогли его испытать, устройство можно было только осмотреть и сфотографировать. Но некоторые издания все же получили приглашение на тестирование. Каждый журналист провел со шлемом около получаса. Во время демонстраций Apple показывала заготовленные ролики с 3D-эффектами, включая фрагменты из «Аватара».

В основном отзывы на шлем положительные. Журналисты называют Vision Pro лучшим устройством в линейке гарнитур дополненной и виртуальной реальности, хвалят качество изображения, отслеживание взгляда и движений рук. Без критики тоже не обошлось. Журналисты пока не поняли, для кого создан этот продукт и в каких сценариях его будут массово использовать.

The Wall Street Journal. Джоанна Стерн назвала шлем очень удобным и сравнила с «гигантскими Apple Watch в хорошем смысле». Она считает, что эта гарнитура значительно комфортнее, чем Oculus Quest 2.

Стерн рассказала, что через 15 минут после начала тестов начала ощущать вес устройства и дискомфорт. Инженеры Apple объяснили, что шлем не был настроен под ее лицо. Журналистку также немного тошнило, в ответ на это компания пообещала доработать гарнитуру к следующему году.

Журналистка отметила, что в Vision Pro очень легко переключаться между реальным и цифровым мирами. Колесико Digital Crown позволяет плавно регулировать степень погружения в AR и VR.

Стерн похвалила качество 3D-эффектов: «Мне действительно показалось, что огромный динозавр проломил стену прямо передо мной», — рассказала она.

Reuters. Стивен Неллис отметил, что устройство еще не предназначено для массового рынка. Во время тестов представителей прессы осматривал врач, чтобы убедиться в том, что гарнитура им подходит и будет работать так, как задумано. Также один раз устройство пришлось перезагрузить.

Неллис тоже похвалил качество 3D-эффектов и назвал ощущения от демонстраций поразительными. Журналист отметил, что детали из реальной жизни могут испортить такую идеальную обстановку. Например, дешевая пластиковая бутылка.

The Verge. Нилай Патель подтвердил, что перед началом тестирования журналистов осматривал врач. Его лицо также отсканировали с помощью Айфона, чтобы подобрать нужный размер маски. Еще отсканировали голову по бокам для калибровки звука. Шлем пока не универсальный — его нельзя просто передать другому человеку.

По словам Пателя, он ещё не видел VR-дисплея с таким высоким разрешением. Но он был намного тусклее, чем реальный свет в комнате, и журналисту пришлось привыкать к освещению после завершения тестов.

Патель пока не уверен в том, что это устройство станет массовым. Ему непонятно, кто будет его целевой аудиторией. Журналист сомневается, что шлем будет удобно носить во время массовых мероприятий. Например, днях рождения.

Financial Times. Патрик Макги рассказал, что не смог найти журналиста, который остался бы недоволен шлемом после окончания тестирования. Как и корреспондентку The Wall Street Journal, Макги поразила демонстрация с динозавром. Он вскрикнул, когда хищник попытался укусить его за руку в дополненном мире.

Макги считает, что у Apple получилось сделать качественную систему навигации. По его мнению, вряд ли можно разработать более интуитивно понятный переход от одного приложения к другому. Он похвалил точность отслеживания рук и глаз.

Продажи Vision Pro начнутся в начале 2024 года. Когда точно — пока неизвестно. Сначала шлем можно будет купить только в США за 3499 $⁣ (284 573 ₽). Но затем его обещают начать продавать в других странах. Скорее всего, в РФ устройство не получится купить официально, потому что Apple покинула российский рынок.

Как пишет Bloomberg, Apple планировала продавать Vision Pro примерно по себестоимости. Но компания все равно может зарабатывать на нем около 25 миллиардов долларов в год.

Вероятно, проблемы с покупкой устройства возникнут и в США. Для правильной работы Vision Pro насадка на устройстве должна идеально подходить пользователю и плотно прилегать к лицу. Ее будут поставлять в нескольких формах и размерах. Испытать и подобрать нужную можно будет в физических магазинах.

Журналисты рассказали, что перед началом тестирования Vision Pro их лица отсканировали, чтобы подобрать маски. Такая точность нужна в том числе для корректной работы датчиков и камер. Сканирование вряд ли получится провести в домашних условиях, только если Apple не разработает специальное приложение.