Нейросеть оживила фигуры людей на фотографиях

Американские разработчики создали алгоритм, способный оживлять фигуры людей на двумерных изображениях. Он создает для нарисованного человека трехмерную модель, а затем воспроизводит анимацию с выбегающей из картины моделью. Посвященная разработке статья опубликована на arXiv.org.

Смотря на фотографию, человек обычно может представить, как двигались объекты в кадре после того, как он был сделан. Для алгоритмов эта задача пока достаточно сложна. Пока исследователи в основном занимаются разработкой алгоритмов, которые могут воссоздать лишь небольшую часть движений людей на изображениях. К примеру, в прошлом году разработчики из Тель-Авивского университета и компании Facebook научили алгоритм анимировать мимику лица на портретах.

Другая группа разработчиков из Вашингтонского университета и Facebook под руководством Иры Кемельмахер-Шлицерман (Ira Kemelmacher-Shlizerman) создала алгоритм, который может создать на основе одного двумерного кадра полноценную анимацию с выбеганием человека за пределы фотографии:

Созданная исследователями система представляет собой связку из нескольких разработанных ранее алгоритмов и собственного кода. Изначально она принимает двумерное изображение и обрабатывает его с помощью нейросети Mask R-CNN. На этом этапе алгоритм распознает на изображении область с человеком и отделяет ее от фона. Затем еще один разработанный ранее алгоритм превращает область изображения с человеком в двумерную модель скелета, состоящую из прямых сегментов и их соединений. После этого еще один алгоритм создает реалистичный фон в областях кадра, изначально закрытых человеком.

 

После создания двумерной модели алгоритм создает на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате пользователь получает модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации.

Разработчики создали несколько режимов работы алгоритма. В одном из них алгоритм создает обычную анимацию на мониторе, а в другом он может выводить ее в дополненной реальности. К примеру, таким способом разработчики превратили обычную картину на стене в интерактивную.

Источник

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Анімація WWF показує, що за останні 200 років океан став надто шумним місцем для китів

Доля морських ссавців, для яких через діяльність людини океан став надто шумним місцем (особливо для китів), зображена у зворушливому анімаційному відео.

Життя собак тоді і зараз: якби собаки могли мандрувати в минуле, вони б цього не робили

Бренд CESAR запустив кампанію, підкреслюючи, наскільки комфортним є життя собак зараз, порівняно з тим, яким воно було у минулі століття.

TISC Укрпатент разом із UNIT.City презентували IP Guide для українських ІТ-компаній

TISC Укрпатент разом із UNIT.City презентували IP Guide для українських ІТ-компаній

17 лютого в інноваційному парку UNIT.City відбулась презентація IP Guide для сфери інформаційних технологій. В ньому зібрані головні поради щодо ...

Бренд рушників Sheridan зобразив властивості своєї продукції танцем

Міцність та красу рушників зображав танцювальний колектив Sydney Dance Company, щоб хореографією показати, чому бренд Sheridan відрізняється від інших.

Безкоштовний онлайн-саміт Beyond Eastern Europe: Як українцям працювати на іноземних ринках

25 лютого о 10:00 відбудеться безкоштовний онлайн-саміт Beyond Eastern Europe, організований компанією Payoneer. Понад десять експертів в області бізнесу та ...

Анімація на пательні: режисери Wriggles&Robins спекли відео до Дня млинця

Яким би млинцям ви не надавали перевагу, певно ви оціните майстерність режисерів-аніматорів, які спекли 600 млинців, перетворивши їх на відео до Дня млинця.