Нейросеть воссоздала фигуру человека по фотографии

Американские и японские разработчики научили нейросеть создавать 3D-модель человека по одной или нескольким фотографиям. Особенность алгоритма заключается в том, что он достаточно качественно воссоздает даже вид со спины, которая не видна на исходном снимке, рассказывают авторы статьи, которая будет представлена на конференции ICCV 2019.

Создание 3D-модели по 2D-снимку, например, обычной фотографии, связано с фундаментальной проблемой — одному и тому же плоскому снимку могут соответствовать объемные предметы разной формы. Тем не менее, если задача заключается в восстановлении формы объектов конкретного типа, то она значительно упрощается, потому что, к примеру, люди имеют похожую фигуру, хотя и различающуюся в некоторых пропорциях.

Еще одна проблема таких алгоритмов заключается в том, что фотография несет в себе данные лишь с одного ракурса. Кроме того, современные алгоритмы воссоздания объемной модели зачастую восстанавливают лишь ее саму, без учета цвета на снимке.

Разработчики под руководством Хао Ли (Hao Li) из Университета Южной Калифорнии научили нейросеть достаточно точно воссоздавать цветную модель тела человека со всех сторон, на основе одной или нескольких фотографий.

Алгоритм состоит из двух последовательных сверточных нейросетей. Первая из них получает исходный снимок и начинает для каждой точки трехмерного куба рассчитывать, что в ней находится: часть тела человека или пустое пространство. Затем эти данные с помощью алгоритма, известного как «Шагающие кубики», преобразуются в полигональную 3D-модель.

После того, как полигональная модель создана, ее начинает обрабатывать вторая нейросеть, которая устроена таким же образом, но выдает не статус точек в пространстве, а их цвет. Таким образом, в результаты обработки снимка алгоритм создает полноценную 3D-модель, каждая точка поверхности которой имеет цвет, причем даже если этой точки не было видно на исходном снимке. Для улучшения результатов алгоритм также поддерживает ввод нескольких снимков с разных ракурсов.

Разработчики обучали нейросеть на собственном датасете, созданном из 491 модели из базы RenderPeople — это набор высококачественных 3D-моделей людей, полученных с помощью фотограмметрических сканеров. На основе этих моделей они создали почти 160 тысяч снимков для обучения алгоритма.

На опубликованном авторами ролике можно видеть, что алгоритм достаточно качественно воссоздает всю модель, в том числе и со спины, которая не видна на исходном снимке. Кроме того, на ролике продемонстрировано, что даже наличие трех кадров вместо одного значительно повышает качество итоговой модели. Наконец, авторы показали, что во многих аспектах алгоритм справляется с воссозданием 3D-модели лучше, чем аналогичные алгоритмы других разработчиков.

Источник

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Цього літа, заправляючись на WOG, можна стати власником нового будинку на колесах

Закриті кордони – не проблема для справжніх мандрівників. Навпаки, це чудова можливість пізнати краще рідну країну, адже вона багата цікавими ...

Намбер ван по домашнім гаджетам: banda запустила нову літню кампанію Comfy

Всі вже знають, що в Comfy не просто техніка, а справжні домашні гаджети. Але лишалось одне питання: чому все ж ...

Бренд Starburst створив вертикальне відео з силою тяжіння під кутом 90 градусів

Бренд, відомий своїми цукерками-кубиками, вирішив створити довгі цукерки Starburst Swirlers, відзначивши це кумедним роликом у вертикальному форматі.

Режисер Раян Джонсон зняв рекламу для гри Pokémon Go

Для любителів мобільних ігор приємним сюрпризом стало те, що нову рекламу для гри Pokémon Go зняв Раян Джонсон, який і сам є її шанувальником.

Альтернативний шлях еволюції: стартувала кампанія від натурального енергетика NON STOP Evo

З NON STOP Evolution історія виходить на новий виток, де природа та людина врешті досягають взаємної злагоди. 1 липня інноваційний, ...

Аналоговий підхід до планування ремонту: виробник фарб створює мініатюрні діорами

Найцікавіші фото кімнат, що чекають на ремонт, перетворяться на напрочуд деталізовані мініатюрні діорами, як слід пофарбовані експертами компанії.