Креативна студія Hello Monday створила застосунок Fingerspelling.xyz, який у реальному часі навчає правильним жестам на позначення літер дактильної абетки і коригує жести користувача, доки вони не стануть такими, як треба.
Застосунок працює і у веб-браузерах. Розроблено його було за допомогою організації American Society for Deaf Children.
Подібно до популярного застосунку Duolingo для вивчення іноземних мов, Fingerspelling.xyz в реальному часі оцінює спроби користувача засвоїти нові слова.
Як це працює?
Застосунок Fingerspelling.xyz використовує вебкамеру на пристрої користувача, щоб відстежувати рухи рук у той час, як людина намагається відтворити жестову абетку ASL (American Sign Language). Водночас алгоритм, натренований на зображеннях правильних жестів, аналізує рухи рук користувача і визначає, наскільки точними вони є.
Така технологія, переконані розробники, здатна забезпечити цікавіший навчальний процес, ніж традиційні методи вивчення жестової мови шляхом перегляду відео та прочитання посібників.
В жестовій мові ASL «вимовляння» слів по літерам використовується для власних імен або тоді, коли людина не знає жесту на позначення цілого слова.
Інтерфейс застосунку витриманий у пурпурово-жовтій гамі. Розпочинається все з того, що Fingerspelling.xyz видає користувачеві ряд слів, поруч із якими тривимірна модель руки показує відповідний жест на позначення кожної літери.
Потім застосунок аналізує спробу користувача повторити продемонстровану йому серію жестів і надає фідбек, доки слова не будуть відтворені правильно. А далі залежно від успіхів користувача його переводять на наступний рівень складності.
Студія Hello Monday запевняє, що дані, отримані з вебкамери, нікуди далі не йдуть і взагалі не зберігаються.
Для кого цей застосунок?
Цільовою аудиторією застосунку Fingerspelling.xyz є батьки дітей з вадами слуху, щоб ті могли посприяти розвитку своєї дитини, допомагаючи їй засвоїти жестову мову (і зокрема дактильну абетку) якомога раніше.
Статистика показує, що в США на кожну тисячу дітей припадають 2–3 дитини з вродженими вадами слуху. Серед цих дітей 90% народжуються у батьків, які чують. Проте 72% таких родин не послуговуються жестовою мовою у спілкуванні зі своїми дітьми. Тому-то Hello Monday та American Society for Deaf Children і сподіваються виправити цю ситуацію.
