Американські науковці створили рукавичку для перекладу мови жестів

Науковці з Каліфорнійського університету в Лос-Анджелесі (UCLA) створили рукавичку для перекладу мови жестів (американської) на англійську мову в реальному часі за допомогою мобільного додатка. Результати дослідження було опубліковано в журналі «Nature Electronics».

Провідний дослідник біоінженер Джун Чен (Jun Chen) з Інженерної школи Каліфорнійського університету розповів: «Ми маємо надію, що це уможливить спілкування напряму між тими, хто покладається на жестову мову, та тими, хто нею не володіє, без потреби залучати до розмови ще й перекладача. До того ж, ми сподіваємося, що така технологія посприяє тому, щоб більше людей стали вивчати мову жестів».

Система передбачає використання пари рукавичок з тонкими еластичними сенсорами, які проходять вздовж кожного пальця. Сенсори зроблені з електропровідного волокна, яке зчитує рухи руки та положення пальців у просторі, що означають різні літери, цифри, слова та фрази.

Дослідна команда UCLA пояснила, що рукавичка для перекладу мови жестів перетворює рухи пальців у електричні сигнали, які передаються на маленьку друковану плату, що кріпиться до зап’ястка. А плата транслює ці сигнали на смартфон, який перекладає їх у слова зі швидкістю слово в секунду.

Оскільки в американську жестову мову (ASL) входять також вирази обличчя, щоб їх зчитувати, науковці прикріпили на обличчя учасників експерименту ще два сенсори-наклейки: один між бровами, а другий – збоку від рота.

Полімери та машинне навчання

Попередні натільні системи пристроїв, призначені для перекладу з американської жестової мови, мали значні обмеження через свій доволі громіздкий дизайн, або ж їх було просто незручно носити. Натомість науковці з UCLA зробили свою рукавичку для перекладу мови жестів з легких та недорогих, але водночас еластичних полімерів. Те ж саме стосується і сенсорів.

Щоб випробувати свій пристрій, дослідники співпрацювали з чотирма особами, які послуговуються мовою жестів. Кожен жест із 660, закладених у пам’ять гаджета, було виконано 15 разів, і спеціально розроблений алгоритм машинного навчання був здатен перетворити ці жести на літери, цифри та слова з точністю у 98,63%. А час, потрібний на розпізнавання одного символу, становив менше секунди.

Джерело

Для людей з вадами зору також існують рукавички, які дозволяють своєму користувачеві «бачити» руками.

Аналогічно, було розроблено систему жестового управління, що конвертує жести в команди техніці.

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Canyon

Ідентичність, що приваблює молоде покоління: Canyon презентує оновлений бренд

Canyon, виробник мобільних аксесуарів, комп’ютерної техніки та носимих пристроїв, що динамічно розвивається, представляє споживачам новий фірмовий стиль, логотип та салоган. ...

Дотримуйтесь дистанції: арт-директор Y agency про соціальний проєкт Special Edition

Нещодавно українська брендингова агенція Y agency отримала золото на Міжнародному фестивалі реклами White Square в номінації Change for Good / ...

Морган Фрімен озвучив документальний фільм про пластик, що «живе» в океані

Короткий документальний фільм «Life Below Water» від ООН, Google та Tribeca Enterprises розповідає про нового мешканця океанських глибин.

Креативна агенція IAMIDEA розробила нову стратегію та рекламну кампанію для UKLON

Основним завданням агенції IAMIDEA було консолідувати комунікацію бренда під одним дахом, створити впізнаваний голос та нове стратегічне повідомлення. І розказати ...

Руслана Лижичко і Юрій Дивисенко про соціальну кампанію «Карпати. Місце Сили»

У липні стартувала соціальна кампанія зі збереження Карпат, ініціаторкою та ідейною натхненницею якої стала українська співачка Руслана Лижичко. Мета кампанії ...

науковий метод_fb cover

No fakes, no drama. В Україні запустили платформу «Науковий метод»

В Україні з’явилася платформа «Науковий метод», яка просуває науковий підхід та якісну комунікацію на теми науки та медицини, зокрема COVID-19. ...