Створено навушники, здатні відстежувати вираз обличчя та конвертувати його в емодзі

Дослідники з Корнелльського університету, що в США, створили навушники, здатні відстежувати вираз обличчя свого користувача, навіть якщо той носить маску. Система під назвою C-Face робить це, фіксуючи контури щік, а потім перетворює вираз обличчя на емодзі. За допомогою такої технології можна, наприклад, під час відеоконференції передавати свої емоції, не вмикаючи вебкамеру.

«Цей пристрій простіший, зручніший та ефективніший, ніж будь-які наявні зараз натільні технології відстежування виразів обличчя, – заявив Чен Чжан (Cheng Zhang), провідний дослідник проєкту C-Face. – Зазвичай такі натільні пристрої передбачають, що до обличчя будуть чіплятися сенсори. Але навіть з усім цим інструментарієм вони здатні розпізнавати лише дуже обмежений набір виразів обличчя».

Навушник C-Face з цією метою використовує дві RGB-камери, які розташовані нижче від вуха. Коли лицеві м’язи користувача рухаються, ці камери записують зміни обрисів щік. Далі система використовує комп’ютерне бачення та модель глибинного навчання, щоб реконструювати зображення обличчя. А потім згорткова нейронна мережа аналізує створені двовимірні зображення. Ця технологія здатна конвертувати їх у 42 ключові точки обличчя, які визначають положення рота, очей, та брів людини.

Реконструйований вираз обличчя C-Face може перетворити на один з восьми емодзі, до яких входять, зокрема, сердите та нейтральне обличчя.

Інтерфейс, віртуальні аватари та дистанційне навчання

На додачу до цього, навушники, здатні відстежувати вираз обличчя, дозволяють послуговуватися мімікою, щоб подавати команди музичному додатку. Ще однією можливою сферою застосування C-Face є відеоігри або інші віртуальні середовища, де аватар за допомогою цієї технології міг би виражати справжні емоції гравця. C-Face можна було б використовувати навіть для дистанційного навчання, щоб викладачі бачили, наскільки зосередженими є їх учні.

Через карантинні заходи дослідники змогли залучити до експерименту лише дев’ять учасників, щоб випробувати навушник C-Face. Втім, навіть так технологія показала, що конвертація виразів обличчя в емодзі відбувається з точністю 88%, а двовимірне зображення, створене на основі рухів щоки, відтворює вираз обличчя з точністю 85%.

Наразі головною проблемою цієї технології є недостатньо потужна батарея навушників, що обмежує можливості системи C-Face. Тому дослідники планують згодом зробити цей пристрій менш енерговитратним.

Джерело

Ще однією технологією, здатною розпізнавати рухи, не обвішуючи користувача сенсорами, є BodyCompass, який за допомогою радіосигналів відстежує, в якій позі людина спить.

Теги:

ТОБІ СПОДОБАЄТЬСЯ

TWIGA Ukraine поєднала Pepsi та Львів у новому лімітованому дизайні

TWIGA Ukraine поєднала Pepsi та Львів у новому лімітованому дизайні

Бренд Pepsi випустив нову лімітовану банку, присвячену одному з найгарніших міст України — Львову. Колекція була створена ексклюзивно для цього ...

Нарбут

Вийшла друком книга «Нарбут» з унікальною обкладинкою кожного примірника в накладі

Вийшла друком книга «Нарбут» — перша книга в Україні, кожний екземпляр якої має унікальну обкладинку, згенеровану алгоритмом. Дизайн книжки та ...

2Crack від Roshen

Saatchi & Saatchi Ukraine перекусила «запару» у новому ролику

На перший погляд, це історія про новий ролик Saatchi & Saatchi Ukraine (входить до складу Publicis Groupe Ukraine) для бренду ...

Регіональна кампанія Uklon від IAMIDEA

Дозвіл на хуліганство. Регіональна кампанія Uklon від IAMIDEA

Нещодавно Uklon та IAMIDEA розказали всім про нову стратегію і ключове повідомлення: «Твій рух — твої правила». За результатами першої ...

Lions Live: речниця Bacardi радить шукати суперфанатів і деконструює фокус-групи

Компанія Bacardi останнім часом почала орієнтуватися на ті 10% аудиторії, які є її суперфанатами, а не на 90% людей, які становлять основну масу покупців.

Філософський Сад

Проєкт «Філософський Сад» відкриває доступ до серії подкастів та лонгрідів про культуру

Кожен подкаст і лонгрід проєкту «Філософський Сад» — це бесіда і пошук відповіді на запитання: «Якою мовою люди мистецтва говорять ...