Науковці з Каліфорнійського університету в Лос-Анджелесі (UCLA) створили рукавичку для перекладу мови жестів (американської) на англійську мову в реальному часі за допомогою мобільного додатка. Результати дослідження було опубліковано в журналі «Nature Electronics».
Провідний дослідник біоінженер Джун Чен (Jun Chen) з Інженерної школи Каліфорнійського університету розповів: «Ми маємо надію, що це уможливить спілкування напряму між тими, хто покладається на жестову мову, та тими, хто нею не володіє, без потреби залучати до розмови ще й перекладача. До того ж, ми сподіваємося, що така технологія посприяє тому, щоб більше людей стали вивчати мову жестів».
Система передбачає використання пари рукавичок з тонкими еластичними сенсорами, які проходять вздовж кожного пальця. Сенсори зроблені з електропровідного волокна, яке зчитує рухи руки та положення пальців у просторі, що означають різні літери, цифри, слова та фрази.
Дослідна команда UCLA пояснила, що рукавичка для перекладу мови жестів перетворює рухи пальців у електричні сигнали, які передаються на маленьку друковану плату, що кріпиться до зап’ястка. А плата транслює ці сигнали на смартфон, який перекладає їх у слова зі швидкістю слово в секунду.
Оскільки в американську жестову мову (ASL) входять також вирази обличчя, щоб їх зчитувати, науковці прикріпили на обличчя учасників експерименту ще два сенсори-наклейки: один між бровами, а другий – збоку від рота.
Полімери та машинне навчання
Попередні натільні системи пристроїв, призначені для перекладу з американської жестової мови, мали значні обмеження через свій доволі громіздкий дизайн, або ж їх було просто незручно носити. Натомість науковці з UCLA зробили свою рукавичку для перекладу мови жестів з легких та недорогих, але водночас еластичних полімерів. Те ж саме стосується і сенсорів.
Щоб випробувати свій пристрій, дослідники співпрацювали з чотирма особами, які послуговуються мовою жестів. Кожен жест із 660, закладених у пам’ять гаджета, було виконано 15 разів, і спеціально розроблений алгоритм машинного навчання був здатен перетворити ці жести на літери, цифри та слова з точністю у 98,63%. А час, потрібний на розпізнавання одного символу, становив менше секунди.
Для людей з вадами зору також існують рукавички, які дозволяють своєму користувачеві «бачити» руками.
Аналогічно, було розроблено систему жестового управління, що конвертує жести в команди техніці.
