Google научила нейросеть реалистично дорисовывать фотографии

Разработчики из Google Research научили нейросеть качественно дорисовывать недостающие фрагменты фотографий, даже если от нее скрыта большая часть снимка. В основе алгоритма лежит архитектура генеративно-состязательной нейросети, рассказывают авторы статьи, опубликованной на arXiv.org.

Нейросетевые алгоритмы уже некоторое время применяются на практике при редактировании фотографий. К примеру, Adobe Photoshop умеет убирать объекты со снимка, реалистично заменяя их на фон. Для этого программа использует информацию со всех окружающих объект областей. Кроме того, Photoshop способен дорисовывать края изображения, к примеру, при повороте, однако эта функция работает хуже и способна справляться лишь с небольшими участками, отчасти именно из-за того, что лишь часть пустой области окружена фрагментами исходного изображения, с которых можно взять информацию.

Разработчики из Google Research под руководством Уильяма Фримена (William Freeman) научили нейросеть реалистично дорисовывать даже большие области на кадре, расположенные сбоку. Алгоритм основан на популярной архитектуре генеративно-состязательной нейросети. Она подразумевает, что алгоритм состоит из двух частей: одна из них выполняет прямую задачу (в данном случае дорисовывает фотографии), а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки.

ebf1a21fbad605a3e5eb45f80fd7d299 - Google научила нейросеть реалистично дорисовывать фотографии

Одна из ключевых особенностей подхода авторов, которая привела к хорошим результатам, заключается в том, что на входе нейросеть получает не один снимок, а два. Первое изображение — это исходный снимок, на котором большая прямоугольная область залита одним цветом. Авторы экспериментировали с размером этой области, заливая 25, 50 и 75 процентов от исходного кадра. Второе изображение — это маска, показывающая, какая именно область была залита.

b987a0b01ffff00a1d520c8bf6bf9387 - Google научила нейросеть реалистично дорисовывать фотографии
Сравнение работы нового алгоритма с аналогами

Такой подход позволил дискриминатору сконцентрироваться на области, дорисованной генератором, и тем самым повысить качество распознавание «подделок». Это в свою очередь повысило качество работы генератора после обучения. Еще одна причина хорошего качества доррисованных фрагментов связана с обучающей выборкой. В качестве нее авторы выбрали почти два миллиона изображений из датасета Places365-Challenge.

Помимо дорисовывания изображений разработчики также опробовали алгоритм на видео. Таким способом они предлагают дорисовывать кадры по бокам, к примеру, в случае с вертикальными видео.

Источник: https://nplus1.ru

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Визначено креативні стартапи, що представлять Україну на Creative Business Cup BRIGHT у Копенгагені

4 вересня цього року відбувся національний конкурс пітчингів для стартапів та вже працюючих бізнесів з креативної індустрії Creative Business Cup ...

Український стартап 7gram створює кавові устілки для взуття з одноразових стаканів

Український стартап 7-gram.com змінює світ, переробляючи відходи кав’ярень на устілки з ароматом кави. Одноразовий паперовий стаканчик складається з первинної целюлози ...

Чи здатні періодичні видання вижити без платної підписки?

Найстаріша англомовна газета Гонконгу, вирішила повернутися до платної підписки, ставши знаком того, що якісна журналістика повинна належно оплачуватися.

Міленіали — найперспективніша аудиторія електронної комерції наприкінці 2020

Компанія Braze з'ясувала, що саме міленіали, а не покоління Z – найперспективніша аудиторія електронної комерції наприкінці 2020 року.

Fortnite проти Apple: найпопулярніша гра позивається на найдорожчу компанію світу

Початок конфлікту між Fortnite та Apple ознаменував, зокрема, ролик, який кадр за кадром пародіює іконічну рекламу Apple «1984».

Дума про інженерну геніальність та підприємницький підхід засновників Future Mechanics

Managing Director медійного агентства IQ Media, Partner студії Motion Design NAOS.BAND і колумніст CreativityUA Юрій Дума продовжує серію історій про людей та ...