Нейросеть научили в реальном времени превращать наброски в фотографии

Американские и британские разработчики создали приложение, в котором пользователь может сделать набросок и сразу же получить изображение, созданное нейросетью на его основе. Алгоритм состоит из двух частей, одна из которых дорисовывает набросок, а вторая превращает дорисованную картинку в фотографию. Разработка будет представлена на конференции ICCV 2019, статья о ней опубликованана arXiv.org.

На протяжении последних лет разработчики создали множество алгоритмов для генерации изображений, которые порой сложно отличить от реальных фотографий. К примеру, заметных результатов достигли разработчики из NVIDIA, научившие нейросети синтезировать фотографии несуществующих людей, а также реалистичные видеоролики. Позже разработчики стали создавать доступные обычным пользователям программы, в которых т превратить простой набросок или цветной рисунок в фотореалистичное изображение. Однако эти программы работают либо не в реальном времени, либо требуют от пользователя самостоятельно рисовать полный набросок.

Разработчики под руководством Эли Шехтман (Eli Shechtman) из Adobe Research создали приложение, которое в реальном времени самостоятельно дорисовывает набросок и превращает его в синтезированную фотографию. Приложение состоит из двух окон и вспомогательных кнопок. В первом окне пользователь рисует набросок, а во втором видит созданное нейросетями изображение. Для начала пользователь выбирает класс объекта, к примеру, ананас, и алгоритм сразу же выдает типичный для него набросок. После начала рисования нейросеть постоянно обновляет набросок, дополняя часть, нарисованную пользователем.

Авторы разбили проблему на две части и использовали для ее решения связку из двух генеративно-состязательных нейросетей. На первом этапе алгоритм, обученный на набросках определенного класса, получает первоначальный набросок пользователя и дорисовывает его до полного. На втором этапе на основе дорисованного наброска формируется реалистичное изображение.

Схема работы алгоритма

Разработчики создали собственный датасет для обучения нейросетей, состоящий из фотографий и набросков объектов десяти типов. Наброски создавались автоматически на основе краев объектов на фотографиях. В своей работе авторы протестировали две схемы, и создали не только десять отдельных нейросетевых моделей для каждого класса, но и многоклассовый генератор, который создает разные изображения в зависимости от условного вектора.

Интерфейс программы

Помимо публикации статьи о разработке авторы также опубликовали на GitHub исходный код приложения для Linux и macOS, а также краткую документацию.

Источник: https://nplus1.ru

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Компанія Apple створила кумедний мініфільм про віддалену роботу

Apple створила сиквел до ролика «The Underdogs», який показує чимало моментів, добре знайомих всім, кому останнім часом доводилося працювати дистанційно.

Тихі історії під гостиним дахом. Готель «Дніпро» як джерело натхнення

Творча лабораторія ТРОПА, яка є проєктом громадської організації «Молодіжне об’єднання «Джерело натхнення», допомагає молодим режисерам, музикантам, співакам та митцям знаходити ...

Нова кампанія для бренду морозива Monaco від креативного агентства banda

У бренду морозива Monaco є ціла купа незаїжджених смаків. Так виникла ідея — донести, що морозиво Monaco зі своїми неочікуваними ...

Burger King за допомогою малюнків нагадав публіці, якою є зона покриття кожного ресторану

Споживачам було запропоновано створити власну інтерпретацію тих геометричних фігур, які утворює зона покриття кожного ресторану.

Рідлі Скотт запрошує всіх долучатися до створення сіквелу «Життя за один день»

У 2010 році Рідлі Скотт та Кевін Макдональд створили за допомогою краудсорсингу документальний фільм, який показував один день життя на Землі.

Біг, плавання та секс у новій кампанії від Fedoriv Agency для «Моршинської»

Сімнадцять відеороликів, об’єднаних слоганом «Природа твого тіла», 35 годин зйомок на десяти локаціях, команда з понад 100 людей, швейцарський режисер, ...