Створено навушники, здатні відстежувати вираз обличчя та конвертувати його в емодзі

Дослідники з Корнелльського університету, що в США, створили навушники, здатні відстежувати вираз обличчя свого користувача, навіть якщо той носить маску. Система під назвою C-Face робить це, фіксуючи контури щік, а потім перетворює вираз обличчя на емодзі. За допомогою такої технології можна, наприклад, під час відеоконференції передавати свої емоції, не вмикаючи вебкамеру.

«Цей пристрій простіший, зручніший та ефективніший, ніж будь-які наявні зараз натільні технології відстежування виразів обличчя, – заявив Чен Чжан (Cheng Zhang), провідний дослідник проєкту C-Face. – Зазвичай такі натільні пристрої передбачають, що до обличчя будуть чіплятися сенсори. Але навіть з усім цим інструментарієм вони здатні розпізнавати лише дуже обмежений набір виразів обличчя».

Навушник C-Face з цією метою використовує дві RGB-камери, які розташовані нижче від вуха. Коли лицеві м’язи користувача рухаються, ці камери записують зміни обрисів щік. Далі система використовує комп’ютерне бачення та модель глибинного навчання, щоб реконструювати зображення обличчя. А потім згорткова нейронна мережа аналізує створені двовимірні зображення. Ця технологія здатна конвертувати їх у 42 ключові точки обличчя, які визначають положення рота, очей, та брів людини.

Реконструйований вираз обличчя C-Face може перетворити на один з восьми емодзі, до яких входять, зокрема, сердите та нейтральне обличчя.

Інтерфейс, віртуальні аватари та дистанційне навчання

На додачу до цього, навушники, здатні відстежувати вираз обличчя, дозволяють послуговуватися мімікою, щоб подавати команди музичному додатку. Ще однією можливою сферою застосування C-Face є відеоігри або інші віртуальні середовища, де аватар за допомогою цієї технології міг би виражати справжні емоції гравця. C-Face можна було б використовувати навіть для дистанційного навчання, щоб викладачі бачили, наскільки зосередженими є їх учні.

Через карантинні заходи дослідники змогли залучити до експерименту лише дев’ять учасників, щоб випробувати навушник C-Face. Втім, навіть так технологія показала, що конвертація виразів обличчя в емодзі відбувається з точністю 88%, а двовимірне зображення, створене на основі рухів щоки, відтворює вираз обличчя з точністю 85%.

Наразі головною проблемою цієї технології є недостатньо потужна батарея навушників, що обмежує можливості системи C-Face. Тому дослідники планують згодом зробити цей пристрій менш енерговитратним.

Джерело

Ще однією технологією, здатною розпізнавати рухи, не обвішуючи користувача сенсорами, є BodyCompass, який за допомогою радіосигналів відстежує, в якій позі людина спить.

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Львівські стартапери відтворять 3D-моделі втрачених пам’яток Львова

Львівські фахівці працюють на створенням нового виду туризму — інтерактивний туризм. Команда Chameleon Age відтворює 3D-моделі втрачених пам’яток Львова. Зокрема, ...

Вакцина робить світ відкритим. Google випустив новий життєствердний ролик

Google опублікував на YouTube ролик, який закликає людей вакцинуватися. Використовуючи пошукові запити Google, ролик наочно демонструє повернення країн та людей від ...

Пошуки кращого. Hyundai запускає кампанію на користь електрифікації автомобілів

Hyundai та агенція Innocean Berlin запустили європейську кампанію з метою сприяння електрифікації своїх автомобілів. Ролик для кампанії знято Себастьяном Штрассером, ...

В Італії офіційно заборонили цензуру в кінематографі

Міністерство культури Італії остаточно врегулювало закон про цензуру в кінематографі. Згідно закону, в країні забороняється перешкоджати виходу фільму або намагатися ...

Фестиваль креативності Cannes Lions 2021 року пройде лише онлайн

Фестиваль креативності Cannes Lions 2021 року пройде лише онлайн

Організатори Міжнародного фестивалю креативності Cannes Lions оголосили, що фестиваль цього року пройде лише онлайн, з 21 по 25 червня. Нагадаємо, ...

Французькі дизайнери запропонували робити з жувальної гумки коліщата для скейтів

Проєкт пропонує циркулярну систему, яка дозволяє збирати в містах шматочки жувальної гумки і робити з неї кольорові коліщата для скейтбордів.