Американські науковці створили рукавичку для перекладу мови жестів

Науковці з Каліфорнійського університету в Лос-Анджелесі (UCLA) створили рукавичку для перекладу мови жестів (американської) на англійську мову в реальному часі за допомогою мобільного додатка. Результати дослідження було опубліковано в журналі «Nature Electronics».

Провідний дослідник біоінженер Джун Чен (Jun Chen) з Інженерної школи Каліфорнійського університету розповів: «Ми маємо надію, що це уможливить спілкування напряму між тими, хто покладається на жестову мову, та тими, хто нею не володіє, без потреби залучати до розмови ще й перекладача. До того ж, ми сподіваємося, що така технологія посприяє тому, щоб більше людей стали вивчати мову жестів».

Система передбачає використання пари рукавичок з тонкими еластичними сенсорами, які проходять вздовж кожного пальця. Сенсори зроблені з електропровідного волокна, яке зчитує рухи руки та положення пальців у просторі, що означають різні літери, цифри, слова та фрази.

Дослідна команда UCLA пояснила, що рукавичка для перекладу мови жестів перетворює рухи пальців у електричні сигнали, які передаються на маленьку друковану плату, що кріпиться до зап’ястка. А плата транслює ці сигнали на смартфон, який перекладає їх у слова зі швидкістю слово в секунду.

Оскільки в американську жестову мову (ASL) входять також вирази обличчя, щоб їх зчитувати, науковці прикріпили на обличчя учасників експерименту ще два сенсори-наклейки: один між бровами, а другий – збоку від рота.

Полімери та машинне навчання

Попередні натільні системи пристроїв, призначені для перекладу з американської жестової мови, мали значні обмеження через свій доволі громіздкий дизайн, або ж їх було просто незручно носити. Натомість науковці з UCLA зробили свою рукавичку для перекладу мови жестів з легких та недорогих, але водночас еластичних полімерів. Те ж саме стосується і сенсорів.

Щоб випробувати свій пристрій, дослідники співпрацювали з чотирма особами, які послуговуються мовою жестів. Кожен жест із 660, закладених у пам’ять гаджета, було виконано 15 разів, і спеціально розроблений алгоритм машинного навчання був здатен перетворити ці жести на літери, цифри та слова з точністю у 98,63%. А час, потрібний на розпізнавання одного символу, становив менше секунди.

Джерело

Для людей з вадами зору також існують рукавички, які дозволяють своєму користувачеві «бачити» руками.

Аналогічно, було розроблено систему жестового управління, що конвертує жести в команди техніці.

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Вікіпедія відзначає 20-річний ювілей (Інфографіка)

Двадцять років тому, 15 січня 2001 року, Джиммі Вейлз та Ларрі Сенгер запустили сайт під назвою «Вікіпедія» — мережевий інформаційний ...

Виртуальный город: преимущества, опасности, примеры

Прошлый год оставил больше вопросов, чем ответов. 2020-й дал понять, как много человечество может вынести на своих плечах и, вместе с тем, насколько ...

Creative Digest CIAU. Випуск #022

Чао, креатори! На зв’язку Creative Digest! Вітаємо всіх з Новим роком! Сподіваємось, ви добре відпочили за зимові свята та надихнулися ...

Новорічна реклама без оленів від Bolt: кампанія з України здобула два золота Effie Awards Europe 2021

Новорічна реклама Bolt здобула два золота однієї з найавторитетніших європейських щорічних премій в галузі маркетингових комунікацій ― Effie Awards Europe ...

Ритейл та ескапізм: як мода і дизайн опановують віртуальний простір

Цифрова мода та віртуальний простір стають дедалі дивнішими, апелюючи до уяви та розмиваючи ті межі, у яких досі існував ритейл.

Експонати, які ще ніхто не бачив: британські музеї показують фото, у яких нуль переглядів

Щоразу, коли ви оновлюєте сторінку, перед вами постає нова, випадковим чином обрана фотографія музейного експонату, у якої не було жодного перегляду.