Разработанная система проецирования изображения предназначена для студийного использования. Система способна отображать поверх лица актера «макияж» или усиливать его мимику для стороннего наблюдателя. Реальное использование подобных систем обычно ограничено из-за несовершенства технологии, поскольку существует ощутимая задержка между считыванием текущего выражения лица и моделированием изображения на его основе. Исследователям из Disney Research удалось уменьшить эту задержку. По словам авторов, это первый пример демонстрации подобной технологии проецирования изображения с отслеживанием эмоций без использования каких-либо вспомогательных маркеров.
Для того, чтобы оптимизировать отображения «макияжа» в реальном времени, исследователи использовали камеру и проектор с одинаковыми линзами, а свет проектора через разделительную пластину (beam splitter) направлялся в перпендекулярно установленную камеру, чтобы, фактически, создать иллюзию того, что камера находится в той же точке, что и проектор. Благодаря этому достигается минимальное смещение считываемого и отображаемого изображения, что позволило использовать более простые алгоритмы, которым не нужно делать поправку на расположение камеры. Кроме того, авторы применяют фильтр Калмана при моделировании изображения, чтобы предугадывать изменение мимики актера.
Сама по себе идея наложения изображения поверх существующего лица или замена его на другое не является принципиально новой. Технология захвата движения (motion capture) достаточно давно используется, например, в кино. Основной минус подобного подхода заключается в том, что требуется размещение множества датчиков или визуальных маркеров на ключевых точках: носу, губах, скулах и бровях. В последнее время появился новый подход, основанный на построении 3D-модели лица с помощью датчика глубины, что позволяет накладывать разное изображение на лицо актера или полностью заменить его на лицо другого человека.
