Нейросети NVIDIA превратили набросок в фотореалистичное изображение

Компания NVIDIA представила GauGAN — программу, которая умеет превращать наброски в фотореалистичные изображения. В основе ее работы — генеративно-состязательные нейросети, которые обучались на миллионе изображений пейзажей. Технологию представили на ежегодной конференции компании GTC 2019, которая прошла в Калифорнии.

Создание новых объектов (чаще всего — изображений) с помощью генеративно-состязательных нейросетей — технология уже не новая. Такие алгоритмы могут создавать оригинальные произведения искусства, а совсем недавно разработчики научили такие нейросети создавать портреты несуществующих людей и животных. Что касается создания объектов на основе набросков, то временами у таких алгоритмов получаются не самые правдоподобные результаты: например, нейросеть, которая превращает наброски людей в фотореалистичные портреты, чаще всего выдает что-то слегка пугающее, так как ее работа во многом зависит от навыков рисования набросков того, кто ей пользуется.

Рисование пейзажей генеративно-состязательными сетями — задача в этом смысле намного более простая, но и здесь, по сути, результат может сильно отличаться в зависимости от того, насколько удачным получился сам набросок. GauGAN (по задумке разработчиков, название алгоритма созвучно с именем Поля Гогена — художника-постимпрессиониста) может создать фотореалистичное изображение даже на основе совершенно базового наброска из линий и кружочков. В интерфейсе программы доступны несколько «цветов», каждый из которых соответствует объекту, который можно нарисовать: так, в приложении есть «цвета» для облаков, холмов, цветов, полей и других атрибутов пейзажа.

Технологию, которая лежит в основе закрашивания участков специальными текстурами, ученые назвали пространственно-адаптируемой нормализацией (spatially-adaptive normalization, сокращенно SPADE): препринт статьи, в котором она описана, сейчас доступен на arXiv.org. Такая технология как раз и работает на основе генеративно-состязательных нейросетей: обученная на большом количестве изображений, такая система создает фотореалистичные текстуры не всему изображению целиком, а некоторым его частям (как раз цветовым наброскам). Это, по мнению разработчиков, позволяет эффективно облегчить и улучшить процесс «рисования».

Пока что приложение представляет собой демоверсию: из текстур в нем доступны только те, которые позволяют создавать на основе набросков пейзажи. В статье, однако, ученые представляют также и результаты работы нейросети в процессе создания объектов, животных и людей.

Источник

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Безкоштовний онлайн-саміт Beyond Eastern Europe: Як українцям працювати на іноземних ринках

25 лютого о 10:00 відбудеться безкоштовний онлайн-саміт Beyond Eastern Europe, організований компанією Payoneer. Понад десять експертів в області бізнесу та ...

Анімація на пательні: режисери Wriggles&Robins спекли відео до Дня млинця

Яким би млинцям ви не надавали перевагу, певно ви оціните майстерність режисерів-аніматорів, які спекли 600 млинців, перетворивши їх на відео до Дня млинця.

Вперше за 130 років BORJOMI презентує інноваційний продукт FLAVORED — без цукру і калорій

Вперше за 130 років BORJOMI презентує інноваційний продукт FLAVORED WATER — без цукру

Ми звикли грати із часом наввипередки, заглиблюватися в міські нетрі та скролити історії з життя. Ми давно орієнтуємось на місцевості ...

Hyundai показує як це, коли оком змигнути не встиг, а діти вже виросли

Hyundai та Innocean Australia вирішили показати, що восьмимісний автомобіль Palisade буде лишатися зручним навіть тоді, коли діти вже виросли.

Шведська лотерея: коли мільйонерів забагато

Такі вже вони мільйонери – ви чекаєте одного, а тут набігає аж 1410, зіштовхуючись ліктями та наступаючи одне одному на ноги.

Супермаркет як арт-інсталяція: творчий колектив Meow Wolf збирається приголомшити Лас-Вегас

Як прорекламувати психоделічний та непередбачуваний імерсивний арт-експірієнс, особливо якщо ви його замаскували під (не)звичайний супермаркет? А дуже просто: берете типову ...