Американські науковці створили рукавичку для перекладу мови жестів

Науковці з Каліфорнійського університету в Лос-Анджелесі (UCLA) створили рукавичку для перекладу мови жестів (американської) на англійську мову в реальному часі за допомогою мобільного додатка. Результати дослідження було опубліковано в журналі «Nature Electronics».

Провідний дослідник біоінженер Джун Чен (Jun Chen) з Інженерної школи Каліфорнійського університету розповів: «Ми маємо надію, що це уможливить спілкування напряму між тими, хто покладається на жестову мову, та тими, хто нею не володіє, без потреби залучати до розмови ще й перекладача. До того ж, ми сподіваємося, що така технологія посприяє тому, щоб більше людей стали вивчати мову жестів».

Система передбачає використання пари рукавичок з тонкими еластичними сенсорами, які проходять вздовж кожного пальця. Сенсори зроблені з електропровідного волокна, яке зчитує рухи руки та положення пальців у просторі, що означають різні літери, цифри, слова та фрази.

Дослідна команда UCLA пояснила, що рукавичка для перекладу мови жестів перетворює рухи пальців у електричні сигнали, які передаються на маленьку друковану плату, що кріпиться до зап’ястка. А плата транслює ці сигнали на смартфон, який перекладає їх у слова зі швидкістю слово в секунду.

Оскільки в американську жестову мову (ASL) входять також вирази обличчя, щоб їх зчитувати, науковці прикріпили на обличчя учасників експерименту ще два сенсори-наклейки: один між бровами, а другий – збоку від рота.

Полімери та машинне навчання

Попередні натільні системи пристроїв, призначені для перекладу з американської жестової мови, мали значні обмеження через свій доволі громіздкий дизайн, або ж їх було просто незручно носити. Натомість науковці з UCLA зробили свою рукавичку для перекладу мови жестів з легких та недорогих, але водночас еластичних полімерів. Те ж саме стосується і сенсорів.

Щоб випробувати свій пристрій, дослідники співпрацювали з чотирма особами, які послуговуються мовою жестів. Кожен жест із 660, закладених у пам’ять гаджета, було виконано 15 разів, і спеціально розроблений алгоритм машинного навчання був здатен перетворити ці жести на літери, цифри та слова з точністю у 98,63%. А час, потрібний на розпізнавання одного символу, становив менше секунди.

Джерело

Для людей з вадами зору також існують рукавички, які дозволяють своєму користувачеві «бачити» руками.

Аналогічно, було розроблено систему жестового управління, що конвертує жести в команди техніці.

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Філософський Сад

Проєкт «Філософський Сад» відкриває доступ до серії подкастів та лонгрідів про культуру

Кожен подкаст і лонгрід проєкту «Філософський Сад» — це бесіда і пошук відповіді на запитання: «Якою мовою люди мистецтва говорять ...

Unicef і Platfor.ma запустили іронічно-автомобільний проєкт про вакцинацію

Техогляд дитини: Unicef і Platfor.ma запустили іронічно-автомобільний проєкт про вакцинацію

Інтернет-журнал Platfor.ma разом з ЮНІСЕФ Україна та USAID вирішили креативно нагадати про важливість та необхідність вакцинації. Разом вони розробили проєкт ...

crello

Створювати контент просто: Crello запускає глобальну бренд-кампанію

Crello, онлайн-редактор графіки для створення статичних та анімованих дизайнів, разом з маркетинговим агентством Fedoriv створили бренд-кампанію Design it your way. ...

Adobe MAX 2020 Creativity Conference

З 20 по 22 жовтня відбудеться Adobe MAX 2020 Creativity Conference

Цього року Adobe MAX 2020 Creativity Conference пройде онлайн і безкоштовно. На конференції планується понад 350 сесій і майстер-класів, виступи ...

Як зробити ідеальне фото: підготовка та результат

Завісу таємниці трохи відхиляє новий тренд в соцмережах The Setup vs. The Shot. Тобто підготовка до того, як зробити ідеальне фото, та її результат.

Конкурс мікрофотографії Nikon 2020 оголосив переможців

В ході конкурсу Nikon Small World 2020 було обрано 20 фотографій, які доводять, що пошук науковцями відповідей йде поруч зі здатністю цінувати красу.