Створено навушники, здатні відстежувати вираз обличчя та конвертувати його в емодзі

Дослідники з Корнелльського університету, що в США, створили навушники, здатні відстежувати вираз обличчя свого користувача, навіть якщо той носить маску. Система під назвою C-Face робить це, фіксуючи контури щік, а потім перетворює вираз обличчя на емодзі. За допомогою такої технології можна, наприклад, під час відеоконференції передавати свої емоції, не вмикаючи вебкамеру.

«Цей пристрій простіший, зручніший та ефективніший, ніж будь-які наявні зараз натільні технології відстежування виразів обличчя, – заявив Чен Чжан (Cheng Zhang), провідний дослідник проєкту C-Face. – Зазвичай такі натільні пристрої передбачають, що до обличчя будуть чіплятися сенсори. Але навіть з усім цим інструментарієм вони здатні розпізнавати лише дуже обмежений набір виразів обличчя».

Навушник C-Face з цією метою використовує дві RGB-камери, які розташовані нижче від вуха. Коли лицеві м’язи користувача рухаються, ці камери записують зміни обрисів щік. Далі система використовує комп’ютерне бачення та модель глибинного навчання, щоб реконструювати зображення обличчя. А потім згорткова нейронна мережа аналізує створені двовимірні зображення. Ця технологія здатна конвертувати їх у 42 ключові точки обличчя, які визначають положення рота, очей, та брів людини.

Реконструйований вираз обличчя C-Face може перетворити на один з восьми емодзі, до яких входять, зокрема, сердите та нейтральне обличчя.

Інтерфейс, віртуальні аватари та дистанційне навчання

На додачу до цього, навушники, здатні відстежувати вираз обличчя, дозволяють послуговуватися мімікою, щоб подавати команди музичному додатку. Ще однією можливою сферою застосування C-Face є відеоігри або інші віртуальні середовища, де аватар за допомогою цієї технології міг би виражати справжні емоції гравця. C-Face можна було б використовувати навіть для дистанційного навчання, щоб викладачі бачили, наскільки зосередженими є їх учні.

Через карантинні заходи дослідники змогли залучити до експерименту лише дев’ять учасників, щоб випробувати навушник C-Face. Втім, навіть так технологія показала, що конвертація виразів обличчя в емодзі відбувається з точністю 88%, а двовимірне зображення, створене на основі рухів щоки, відтворює вираз обличчя з точністю 85%.

Наразі головною проблемою цієї технології є недостатньо потужна батарея навушників, що обмежує можливості системи C-Face. Тому дослідники планують згодом зробити цей пристрій менш енерговитратним.

Джерело

Ще однією технологією, здатною розпізнавати рухи, не обвішуючи користувача сенсорами, є BodyCompass, який за допомогою радіосигналів відстежує, в якій позі людина спить.

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Мистецтво і фешн: український бренд LITKOVSKAYA представив спеціальну зйомку «Будинок художника»

Український модний бренд LITKOVSKAYA вивчає мистецтво крізь покоління у новому лукбуці колекції «Artisanal» та представляє спеціальну зйомку «Будинок художника». Творча ...

Cannes Lions 2019 : Day One

«Каннські Леви» 2021 оголосили голів журі

Міжнародний фестиваль креативності «Каннські Леви» оголосив склад президентів журі для нагородження робіт Левами у 2021 році. Цього року до складу ...

Grammarly створила перший анотований GEC-корпус української мови і виклала його у відкритий доступ

Компанія Grammarly, анонсувала створення та публікацію у відкритому доступі першого анотованого GEC-корпусу української мови. Компанія розробляє онлайн-сервіс на основі штучного ...

Акторка та дизайнерка Сара Джесіка Паркер виступить у прямому ефірі ЦУМ Київ

26 січня о 17:00 акторка культового серіалу «Секс у великому місті» Сара Джесіка Паркер, а нині дизайнерка власного бренду взуття ...

Creative Digest CIAU. Випуск #023

Креативні тренди 2021 року від Shutterstock. Всеукраїнська акція з популяризації читання. Instagram Guides. А також перша в Україні книга про ...

«Довго й нещасливо»: страхова компанія переінакшила віршик про Хитуна-Бовтуна

Partners Life планує анімувати ряд класичних дитячих віршиків, починаючи з Хитуна-Бовтуна, і перетворити їх на історії про фінансово хиткі ситуації.