Смешанной реальностью обычно называют изображение пользователя в виртуальной или дополненной реальности, доступное стороннему наблюдателю. Как правило, для этого используется хромакей — пользователя в VR-очках на фоне контрастного одноцветного экрана снимает камера, и вместо фона накладывается изображение из виртуального окружения. Такой подход позволяет наглядно увидеть со стороны поведение другого человека в виртуальном мире, однако его лицо по-прежнему закрыто очками, поэтому нельзя точно определить выражение лица или направление взгляда.
Для того, чтобы «стереть» оборудование и показать выражение лица и направление взгляда пользователя, в Google использовали технологии машинного обучения и трехмерного компьютерного зрения. Подробностей представители компании не раскрывают, описывая лишь общий принцип создания изображения с «прозрачными» VR-очками.
Сначала с помощью 3D-сканера разработчики построили динамическую модель лица пользователя, которая умеет моргать и смотреть в разные стороны в движении. Затем 3D-модель лица наложили на реальное изображение человека при рендеринге финального видео смешанной реальности, при этом для погружения в VR-мир используются модифицированные очки HTC Vive, которые отслеживают направление взгляда пользователя, «оживляя» модель.
Несмотря на относительно правдоподобное реконструирование лица, оно по-прежнему остается 3D-моделью и может вызвать неприятные ощущения у стороннего наблюдателя — эффект «Зловещей долины». Для того, чтобы предотвратить это явление, разработчики оставили полупрозрачное изображение очков на голове.