Для этого используются нейросеть — она анализирует фотографию пользователя и генерирует на ее основе аватара. О технологии рассказывает креативный директор проекта Дженнифер Даниэль (Jennifer Daniel) в блоге компании.
Современные мобильные приложения все чаще используют нейросети для реализации новых функций. Например, фоторедактор FaceApp, набравший популярность в России в начале 2017 года, с помощью систем искусственного интеллекта меняет возраст и пол людей на снимках, а приложение Prisma позволяет стилизовать изображения под картины известных художников. В число программ на базе нейросетей также входят редакторы Vinci, Artisto и MSQRD.
Компания Google выпустила обновление для месенджера Allo, благодаря которому пользователи могут моментально получить личный набор стикеров и использовать их при отправке сообщений. По словам Даниэль, для этого достаточно сделать селфи и загрузить его в систему. В дальнейшем встроенная нейросеть самостоятельно анализирует прическу и черты лица пользователя и подбирает к ним иллюстрации из библиотеки. На выходе получается стикерпак с аватаром, который представляет собой «мультяшную» версию человека на фотографии.
Чаще всего для реализации подобных технологий используются сверточные нейросети, которые тренируются «с нуля» в зависимости от конкретных задач. Однако разработчики Google и Allo отказались от традиционного подхода. Как сообщается в блоге компании, они поставили ряд экспериментов на уже существующих неспециализированных нейросетях для машинного зрения.
«Мы обнаружили, что среди миллиона нейронов есть те, которые хорошо фокусируются на полезных для создания стикеров вещах, хотя они и не были специально этому обучены. Более того, так как это были большие нейросети общего назначения, они уже умели отбрасывать ненужную информацию. После этого оставалось лишь научить классификаторы выделять известные системе качества с помощью маркированных примеров», — пишет Даниэль.
Затем художники создали библиотеку рисунков, в которой хранились необходимые для получения стикеров изображения глаз, рта и других черт лица. Во время обучения нейросеть генерировала аватара, а группа реальных людей оценивала его сходство с селфи. Если некоторые виды деталей были недостаточно представлены (например, короткие прически), то иллюстраторы добавляли новые рисунки в коллекцию.
Всего программа может создать около 563 квадриллионов (1015) уникальных лиц. Однако если результат не устраивает пользователя (или он видит себя иным образом), он может переключиться в ручной режим и самостоятельно отредактировать полученного аватара. Даниэль также отмечает, что текущий стикерпак носит саркастический характер, однако в будущем возможно и появление «более милого набора».
Пока что обновление доступно только для операционной системы Android, однако разработчики обещают, что в скором времени функция появится и на iOS. О точных датах в блоге компании не сообщается.