В начале года Microsoft представила Holonens 2 — второе поколение своих очков смешанной реальности. Независимый эксперт по AR/VR-технологиям Андрей Ивашенцев, также входящий в число т.н. региональных директоров Microsoft, пробовал очки в действии и рассказывает, чем они отличаются от первого поколения, кому они нужны за такие деньги и как дополненная реальность взаимодействует с виртуальной.

Оригинальная версия HoloLens стала первым автономным устройством нового поколения с реально работающим пространственным трекингом. Если говорить проще – это первый MR-шлем, в котором трехмерные объекты полноценно встраивались в окружающую пользователя среду и взаимодействовали с ней. Звучит достаточно просто, но это сегодня у нас есть ARKit и ARCore в каждом телефоне, а на тот момент были только экспериментальные версии фаблетов с Google Tango и то, не в формате шлема.  

Картинки по запросу hololens
Первый Hololens…

Похожее изображение
…и второй.

Автономность, поддержка Cortana, волноводная оптика (оптическая система, работающая по принципам, схожим с оптоволокном, используемым для подключением к интернету), полноценный Windows 10 и совместимость с текущей экосистемой (любое приложение из Windows Store, будь то игра или электронная почта, можно было запустить «на стене») — все это сделало HoloLens первым шлемом, который можно было осмысленно использовать. Но так как устройство было дорогим, реальное практическое применение ему нашлось только там, где за него могли заплатить – в бизнесе. Начались пилотные внедрения для проверки эффективности устройства в процессе обучения персонала, на производстве и в других сложных сценариях.  В качестве примера можно привести проекты по обучению хирургов от Philips, внедрение HoloLens компаниями Mercedes-Benz, Audi, BMW (как на этапе проектирования автомобилей, так и для шоу-кейсов), обучение астронавтов NASA и многое-многое другое.

HoloLens 2 — это эволюция, а не революция (которой был первый HoloLens). Прошло чуть меньше 5 лет с момента анонса первого поколения устройств. Все это время экосистема формировала новый список требований к MR-шлему для бизнеса. 

Среди реально нового и интересного функционала:

  • Обновленный и удобный механизм крепления на голове
  • Полноценный трекинг рук с возможностью взаимодействия с объектами
  • Трекинг глаз — для авторизации через Windows Hello и адаптивного рендеринга голограмм в зависимости от направления взгляда пользователя
  • Более широкий угол обзора — в первой версии с ним были проблемы

Есть также программные фишки, типа стриминга, когда видеопоток голограмм накладывается на видеострим с фронтальной камеры. Это одна из самых востребованных фич, которой очень не хватало HoloLens.

Трекинг рук — относительно понятная и неоднократно решенная задача: на рынке существует огромное количество вариантов разной степени проработанности. Но при полноценной интеграции в операционную среду HoloLens 2 это похоже на магию в стиле интерфейсов Тони Старка. 

Ты просто надеваешь HoloLens 2 и начинаешь в буквальном смысле нажимать на кнопки виртуальных меню пальцами, брать виртуальные объекты руками, крутить их и растягивать в разные стороны. Когда я тестировал технологию, то поймал ощущение некоторого цифрового всемогущества, которое мы представляли себе по фантастическим книгам, компьютерным играм и голливудским фильмам. Разница лишь в том, что это не будущее, а вполне себе приземленное настоящее.

Разумеется, технология работает не идеально и иногда не до конца отрабатывает движения пальцев, но это решаемые софтверные проблемы. 

Заявленная цена Hololens 2 — $3500, что не так и дорого, если учесть, что это устройство для серьезных задач. Когда стоимость проекта по разработке и внедрению составляет несколько миллионов долларов, цена набора из 10-20 устройств составляет ничтожный процент от этой суммы. Это справедливо не только для HoloLens и вообще не только для этой индустрии. 

Условные Google Glass стоят в районе тысячи долларов, но это два крайне технологически непростых устройства, состоящих из недешевых и сложных в производстве компонентов. Чем сложнее компоненты (например, волноводная оптика), тем больше процент брака, а следовательно, и стоимость. 

Картинки по запросу google glass 2019

Google Glass – монокуляр с маленьким разрешением и небольшим количеством датчиков и сенсоров, имеющий узкую специализацию и ограниченный функционал. Он умеет выводить картинку только на один глаз и не умеет сканировать окружающее пространство, но и появился на рынке он существенно раньше. Из-за меньшего количества и сложности компонентов, себестоимость производства у него получается ниже, чем у многофункционального HoloLens. Причем, мне кажется, что оба устройства продаются по цене близкой к себестоимости.

Демократизация и снижение цены на подобные устройства возможны, но пока путем урезания некритичного функционала, что существенно снизит привлекательность HoloLens, так как пока на рынке нет востребованных сценариев казуального использования. Безусловно, трекинг внешнего окружения уже доступен и через обычные двухмерные камеры с помощью SLAM-алгоритмов (тех, что используются в ARKit и ARCore) и через используемые в HoloLens камеры глубины. Отказ от камер глубины приведет к ухудшению качества трекинга, а следовательно, к качеству пользовательского опыта.

Кроме того, есть сомнения, что Hololens вообще нужен широкой аудитории. Речь именно о юзерских сценариях, а не о контенте к этим сценариям, как было в случае с VR. Большинству просто непонятно, зачем надевать на голову MR-шлем, так как естественной потребности в этом не очень много. При этом:

  • В MR не так удобно потреблять развлекательный контент, как в VR
  • Образовательный контент — скорее про специализированное, а не домашнее использование
  • Информационный контент (подсказки, навигация и прочее) удобнее потреблять со смартфона

Так что пока неясно, как масштабировать применимость AR с гонок за покемонами с телефоном в повсеместное и естественное использование AR-гарнитур.

HoloLens 2 еще не вышел на рынок и большая часть проектов первой волны будет модернизацией сценариев, используемых покупателями первого поколения устройства.  Если говорить абстрактно, то это в основном сценарии, для которых по тем или иным причинам не подходит компьютер или мобильное устройство.

Отрасли применения устройства самые различные – от маркетинговых демонстраций до космоса. Например, обучение хирургии с AR-инструкциями, удаленная видео-поддержка при работе со сложным оборудованием, проектирование атомных реакторов или инструктаж астронавтов NASA c AR-подсказками. Практически любой сложный процесс можно облегчить с помощью AR-подсказок, наложенных на контекст сканируемой рабочей среды. Сейчас многие компании, включая те, что состоят в Fortune 500, активно пробуют повысить свою эффективность с помощью AR и HoloLens в частности. Яркий пример — как компания Thyssenkrupp использует HoloLens для производства домашних лифтов для людей с инвалидностью:

Если говорить о перспективах AR и VR, эти технологии находятся на разных стадиях адаптации, хотя технологически продвинулись примерно один уровень. VR это про полную подмену контекста виртуальным пространством, а AR\MR – про расширение текущего контекста. Тут начинается путаница в терминологии, так как логически Mixed Reality находится где-то между Augmented Reality и Virtual Reality.  Это можно представить в виде гипотетического ползунка, выбранное производителем положение которого определяет функциональность устройства.

В перспективе нескольких лет мы можем увидеть устройства, которые смогут «двигать ползунок» самостоятельно. Для примера, MR-шлем может легко превратиться в VR-шлем, если его полностью затемнить и увеличить угол обзора. Про это хорошо писал Билл Гейтс на reddit: «VR — это AR в ее самом крайнем проявлении, когда в нее вообще не вмешиваются детали из реального мира. Не думаю, что в будущем они будут существовать отдельно, как сейчас».