Дослідники з Корнелльського університету, що в США, створили навушники, здатні відстежувати вираз обличчя свого користувача, навіть якщо той носить маску. Система під назвою C-Face робить це, фіксуючи контури щік, а потім перетворює вираз обличчя на емодзі. За допомогою такої технології можна, наприклад, під час відеоконференції передавати свої емоції, не вмикаючи вебкамеру.
«Цей пристрій простіший, зручніший та ефективніший, ніж будь-які наявні зараз натільні технології відстежування виразів обличчя, – заявив Чен Чжан (Cheng Zhang), провідний дослідник проєкту C-Face. – Зазвичай такі натільні пристрої передбачають, що до обличчя будуть чіплятися сенсори. Але навіть з усім цим інструментарієм вони здатні розпізнавати лише дуже обмежений набір виразів обличчя».
Навушник C-Face з цією метою використовує дві RGB-камери, які розташовані нижче від вуха. Коли лицеві м’язи користувача рухаються, ці камери записують зміни обрисів щік. Далі система використовує комп’ютерне бачення та модель глибинного навчання, щоб реконструювати зображення обличчя. А потім згорткова нейронна мережа аналізує створені двовимірні зображення. Ця технологія здатна конвертувати їх у 42 ключові точки обличчя, які визначають положення рота, очей, та брів людини.
Реконструйований вираз обличчя C-Face може перетворити на один з восьми емодзі, до яких входять, зокрема, сердите та нейтральне обличчя.
Інтерфейс, віртуальні аватари та дистанційне навчання
На додачу до цього, навушники, здатні відстежувати вираз обличчя, дозволяють послуговуватися мімікою, щоб подавати команди музичному додатку. Ще однією можливою сферою застосування C-Face є відеоігри або інші віртуальні середовища, де аватар за допомогою цієї технології міг би виражати справжні емоції гравця. C-Face можна було б використовувати навіть для дистанційного навчання, щоб викладачі бачили, наскільки зосередженими є їх учні.
Через карантинні заходи дослідники змогли залучити до експерименту лише дев’ять учасників, щоб випробувати навушник C-Face. Втім, навіть так технологія показала, що конвертація виразів обличчя в емодзі відбувається з точністю 88%, а двовимірне зображення, створене на основі рухів щоки, відтворює вираз обличчя з точністю 85%.
Наразі головною проблемою цієї технології є недостатньо потужна батарея навушників, що обмежує можливості системи C-Face. Тому дослідники планують згодом зробити цей пристрій менш енерговитратним.
Ще однією технологією, здатною розпізнавати рухи, не обвішуючи користувача сенсорами, є BodyCompass, який за допомогою радіосигналів відстежує, в якій позі людина спить.
