Нейросети NVIDIA превратили набросок в фотореалистичное изображение

Компания NVIDIA представила GauGAN — программу, которая умеет превращать наброски в фотореалистичные изображения. В основе ее работы — генеративно-состязательные нейросети, которые обучались на миллионе изображений пейзажей. Технологию представили на ежегодной конференции компании GTC 2019, которая прошла в Калифорнии.

Создание новых объектов (чаще всего — изображений) с помощью генеративно-состязательных нейросетей — технология уже не новая. Такие алгоритмы могут создавать оригинальные произведения искусства, а совсем недавно разработчики научили такие нейросети создавать портреты несуществующих людей и животных. Что касается создания объектов на основе набросков, то временами у таких алгоритмов получаются не самые правдоподобные результаты: например, нейросеть, которая превращает наброски людей в фотореалистичные портреты, чаще всего выдает что-то слегка пугающее, так как ее работа во многом зависит от навыков рисования набросков того, кто ей пользуется.

Рисование пейзажей генеративно-состязательными сетями — задача в этом смысле намного более простая, но и здесь, по сути, результат может сильно отличаться в зависимости от того, насколько удачным получился сам набросок. GauGAN (по задумке разработчиков, название алгоритма созвучно с именем Поля Гогена — художника-постимпрессиониста) может создать фотореалистичное изображение даже на основе совершенно базового наброска из линий и кружочков. В интерфейсе программы доступны несколько «цветов», каждый из которых соответствует объекту, который можно нарисовать: так, в приложении есть «цвета» для облаков, холмов, цветов, полей и других атрибутов пейзажа.

Технологию, которая лежит в основе закрашивания участков специальными текстурами, ученые назвали пространственно-адаптируемой нормализацией (spatially-adaptive normalization, сокращенно SPADE): препринт статьи, в котором она описана, сейчас доступен на arXiv.org. Такая технология как раз и работает на основе генеративно-состязательных нейросетей: обученная на большом количестве изображений, такая система создает фотореалистичные текстуры не всему изображению целиком, а некоторым его частям (как раз цветовым наброскам). Это, по мнению разработчиков, позволяет эффективно облегчить и улучшить процесс «рисования».

Пока что приложение представляет собой демоверсию: из текстур в нем доступны только те, которые позволяют создавать на основе набросков пейзажи. В статье, однако, ученые представляют также и результаты работы нейросети в процессе создания объектов, животных и людей.

Источник

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Fortnite проти Apple: найпопулярніша гра позивається на найдорожчу компанію світу

Початок конфлікту між Fortnite та Apple ознаменував, зокрема, ролик, який кадр за кадром пародіює іконічну рекламу Apple «1984».

Компанія Optus збудувала велетенську іграшкову трасу для перегонів, щоб пояснити логотип «yes»

Все почалося з того, що новачок погодився приєднатися до монументального задуму дітей і збудувати разом з ними велетенську іграшкову трасу для перегонів.

Американські стоматологи зняли серію сатиричних відео про самолікування

Як показує ця серія сатиричних відео про самолікування від Американської асоціації ортодонтів, сам собі лікар – не те саме, що сам собі перукар.

Ахтем Сейтаблаєв зрежисерував ролик для Одеського міжнародного кінофестивалю

Цього року Одеський міжнародний кінофестиваль з відомих усім причин уперше в історії відбудеться онлайн. Та попри те, що звичний перегляд ...

День, коли мегаполіс зупинився: ООН привертає увагу до проблеми транспорту в містах

Фільм «CIDADE INERTE» розповідає про проблеми транспорту в містах, показавши той гіпотетичний день, коли весь дорожній рух у Сан-Паулу намертво зупиниться.

Додаток Doodlar вгадує намальовану тварину та відтворює її в AR

Новий додаток Doodlar дозволяє вам «оживити» намальовану на папері або на екрані смартфону тварину, надавши їй реалістичного тривимірного вигляду в AR.