Компания NVIDIA представила GauGAN — программу, которая умеет превращать наброски в фотореалистичные изображения. В основе ее работы — генеративно-состязательные нейросети, которые обучались на миллионе изображений пейзажей. Технологию представили на ежегодной конференции компании GTC 2019, которая прошла в Калифорнии.
Создание новых объектов (чаще всего — изображений) с помощью генеративно-состязательных нейросетей — технология уже не новая. Такие алгоритмы могут создавать оригинальные произведения искусства, а совсем недавно разработчики научили такие нейросети создавать портреты несуществующих людей и животных. Что касается создания объектов на основе набросков, то временами у таких алгоритмов получаются не самые правдоподобные результаты: например, нейросеть, которая превращает наброски людей в фотореалистичные портреты, чаще всего выдает что-то слегка пугающее, так как ее работа во многом зависит от навыков рисования набросков того, кто ей пользуется.
Рисование пейзажей генеративно-состязательными сетями — задача в этом смысле намного более простая, но и здесь, по сути, результат может сильно отличаться в зависимости от того, насколько удачным получился сам набросок. GauGAN (по задумке разработчиков, название алгоритма созвучно с именем Поля Гогена — художника-постимпрессиониста) может создать фотореалистичное изображение даже на основе совершенно базового наброска из линий и кружочков. В интерфейсе программы доступны несколько «цветов», каждый из которых соответствует объекту, который можно нарисовать: так, в приложении есть «цвета» для облаков, холмов, цветов, полей и других атрибутов пейзажа.
Технологию, которая лежит в основе закрашивания участков специальными текстурами, ученые назвали пространственно-адаптируемой нормализацией (spatially-adaptive normalization, сокращенно SPADE): препринт статьи, в котором она описана, сейчас доступен на arXiv.org. Такая технология как раз и работает на основе генеративно-состязательных нейросетей: обученная на большом количестве изображений, такая система создает фотореалистичные текстуры не всему изображению целиком, а некоторым его частям (как раз цветовым наброскам). Это, по мнению разработчиков, позволяет эффективно облегчить и улучшить процесс «рисования».
Пока что приложение представляет собой демоверсию: из текстур в нем доступны только те, которые позволяют создавать на основе набросков пейзажи. В статье, однако, ученые представляют также и результаты работы нейросети в процессе создания объектов, животных и людей.
