Нейросеть пририсовала Моне Лизе лицо Бенедикта Камбербэтча

Американские разработчики научили нейросеть достоверно раскрашивать вставленные в картины сторонние объекты — в качестве одного из примеров авторы пририсовали Моне Лизе лицо Бенедикта Камбербэтча. Задача выполняется в три шага: вставка объекта, раскрашивание и коррекция текстуры. Препринт статьи с описанием работы алгоритма доступен на arXiv.org.

Добавить сторонний объект в фотографию — задача достаточно простая: с ней давно умеют справляться современные графические редакторы. Однако у подобного «дорисовывания» есть важное ограничение: объект нужно не только вставить, но и соблюсти стиль всего произведения. Вручную это сделать очень сложно: допустим, если мы хотим вставить домик на картину Моне, необходимо будет нарисовать его в стиле импрессионизма, а также подобрать цвета так, чтобы он достоверно сливался с окружением (фоном) картины. Сейчас существуют специальные алгоритмы, которые позволяют представить фотографии в определенном художественном стиле, но с задачами локальной разрисовки они справляются плохо.

Для того, чтобы решить эту задачу, разработчики из Корнеллского университета и Adobe Research под руководством Фучжуна Луана (Fujun Luan) представили алгоритм, который может достоверно вставлять объекты в картины, сохраняя при этом стилистику целевого произведения.

Алгоритм работает в три шага. Первый — самый простой — вставляет нужный объект на картину. Во время второго шага происходит первое раскрашивание вставленного объекта: с помощью метода k-ближайших соседей цвет объекта сопоставляется с цветом окружения и раскрашивается соответствующим образом. Во время третьего шага алгоритм восстанавливает текстуру объекта в соответствии с фоном и избавляет конечный продукт от возможных артефактов — также с помощью ближайших соседей.

В результате исследователям удалось научить нейросеть достоверно переносить объекты на изображения разных стилей. Авторы работы отмечают, что высокого качества по сравнению с другими алгоритмами, представленными ранее, им удалось добиться благодаря переносу стиля не между обширными областями изображения (в этом случае объект смешивается с фоном), а локально — как сравнивая по стилю объект и ближайший к нему фон, так и меняя стиль самого объекта внутри.

Предложенный метод (крайний справа) в сравнении с другими алгоритмами переноса стилей

Результаты работы (17 созданных картин) затем показали добровольцам вместе с похожими картинами, созданными с помощью других подходов. В большинстве случаев (15 из 17) участники опроса считали достоверным перенос объекта, сделанный при помощи нового алгоритма.

Источник

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Тренди у графічному дизайні 2021 від Depositphotos (Інфографіка)

Тренди у графічному дизайні 2021 стали відображенням змін, що відбулися минулого року та вплинули на стилі, ідеї, які обирають дизайнери ...

Анімація на пательні: режисери Wriggles&Robins спекли відео до Дня млинця

Яким би млинцям ви не надавали перевагу, певно ви оціните майстерність режисерів-аніматорів, які спекли 600 млинців, перетворивши їх на відео до Дня млинця.

McDonald’s здійснює глобальний редизайн упаковки

McDonald’s і команда дизайн-агенції Pearlfisher здійснюють глобальний редизайн упаковки бренду. В центрі редизайну — графічна система, яка служить єдиним візуальним ...

Шведська лотерея: коли мільйонерів забагато

Такі вже вони мільйонери – ви чекаєте одного, а тут набігає аж 1410, зіштовхуючись ліктями та наступаючи одне одному на ноги.

До Китайського Нового року студія Юрка Гуцуляка підготувала жовану листівку

12 лютого за китайським календарем наступає Рік Вола. Студія Юрка Гуцуляка вирішила несподівано привітати своїх друзів та парнерів. Всі вони ...

В Об’єднаних Арабських Еміратах поставили в паспортах штампи з «марсіанського» чорнила

Всі, хто цього вівторка прибували в Об’єднані Арабські Емірати, отримали в паспортах ексклюзивні штампи з «марсіанського чорнила».