Американські науковці створили рукавичку для перекладу мови жестів

Науковці з Каліфорнійського університету в Лос-Анджелесі (UCLA) створили рукавичку для перекладу мови жестів (американської) на англійську мову в реальному часі за допомогою мобільного додатка. Результати дослідження було опубліковано в журналі «Nature Electronics».

Провідний дослідник біоінженер Джун Чен (Jun Chen) з Інженерної школи Каліфорнійського університету розповів: «Ми маємо надію, що це уможливить спілкування напряму між тими, хто покладається на жестову мову, та тими, хто нею не володіє, без потреби залучати до розмови ще й перекладача. До того ж, ми сподіваємося, що така технологія посприяє тому, щоб більше людей стали вивчати мову жестів».

Система передбачає використання пари рукавичок з тонкими еластичними сенсорами, які проходять вздовж кожного пальця. Сенсори зроблені з електропровідного волокна, яке зчитує рухи руки та положення пальців у просторі, що означають різні літери, цифри, слова та фрази.

Дослідна команда UCLA пояснила, що рукавичка для перекладу мови жестів перетворює рухи пальців у електричні сигнали, які передаються на маленьку друковану плату, що кріпиться до зап’ястка. А плата транслює ці сигнали на смартфон, який перекладає їх у слова зі швидкістю слово в секунду.

Оскільки в американську жестову мову (ASL) входять також вирази обличчя, щоб їх зчитувати, науковці прикріпили на обличчя учасників експерименту ще два сенсори-наклейки: один між бровами, а другий – збоку від рота.

Полімери та машинне навчання

Попередні натільні системи пристроїв, призначені для перекладу з американської жестової мови, мали значні обмеження через свій доволі громіздкий дизайн, або ж їх було просто незручно носити. Натомість науковці з UCLA зробили свою рукавичку для перекладу мови жестів з легких та недорогих, але водночас еластичних полімерів. Те ж саме стосується і сенсорів.

Щоб випробувати свій пристрій, дослідники співпрацювали з чотирма особами, які послуговуються мовою жестів. Кожен жест із 660, закладених у пам’ять гаджета, було виконано 15 разів, і спеціально розроблений алгоритм машинного навчання був здатен перетворити ці жести на літери, цифри та слова з точністю у 98,63%. А час, потрібний на розпізнавання одного символу, становив менше секунди.

Джерело

Для людей з вадами зору також існують рукавички, які дозволяють своєму користувачеві «бачити» руками.

Аналогічно, було розроблено систему жестового управління, що конвертує жести в команди техніці.

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Серія онлайн-нетворкінгів «Креативної Європи»

Національні бюро програми ЄС «Креативна Європа» з України, Латвії, Італії, Іспанії та Нідерландів організовують серію онлайн-нетворкінгів для представників культурних та ...

Ребрендинг для чаю grace від banda

banda розробили нову бренд-стратегію та оновили айдентику для чаю grace. Не новачка на українському ринку чаїв потрібно було повернути у ...

Мистецьке непорозуміння: в Сеулі пара домалювала графіті вартістю в півмільйона доларів

На виставці сучасного мистецтва в Сеулі молода пара вирішила домалювати одну з картин, що знаходилася в експозиції. Графіті американського художника ...

AIFF Talent Meetings — онлайн-події для всіх, хто цікавиться кіновиробництвом

Фестиваль «Незалежність» спільно з America House запрошують на AIFF Talent Meetings — серію онлайн майстер-класів для всіх, хто цікавиться виробництвом кіно. Спікери AIFF ...

Літнім людям є що розповісти: Cadbury ділиться історіями і закликає спілкуватися

Cadbury і благодійна організація Age UK вирішили нагадати всім, що чимало людей, на жаль, так і залишаються на самоті навіть після локдауну.

У Києві з’явилися постери, що закликають місцян звернути увагу на масове отруєння собак

Після зафіксованих масових отруєнь собак у центрі Києва креативна агенція ANGRY Agency розробила серію постерів, що закликають місцян звернути увагу ...