Устройство, возвращающее речь (ВИДЕО)

Использование нейрокомпьютерных интерфейсов, подсоединенных к синтезаторам речи, могло бы помочь людям, страдающим от паралича или афазии, восстановить речь. Однако для реализации такой технологии необходимо сначала создать синтезатор речи, который позволит в режиме реального времени воссоздавать голосовой сигнал по небольшому набору параметров. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь всего лишь на информацию о движении органов речи человека.

В основе разработанного исследователями синтезатора речи лежит использование нейронной сети с тремя скрытыми слоями и вокодера(устройства синтеза речи). Нейросеть была обучена с помощью специальной базы данных, в которой хранилась информация о звуках, произносимых человеком, и соответствующих им действиях органов речи. Для ее создания ученые подсоединили девять датчиков движения к небной занавеске, губам, языку и челюсти мужчины, носителя французского языка. Во время того, как он говорил, компьютер следил за его артикуляцией. В итоге исследователям удалось записать почти девятнадцать тысяч звуков или 712 речевых элементов разной длины (начиная с отдельных гласных и согласных и заканчивая целыми предложениями) и соответствующие им движения органов речи. Общая продолжительность аудиозаписи составила 45 минут.

После обучения искусственный интеллект научился восстанавливать голосовой сигнал исключительно по движению губ человека. Речь, созданная компьютером, звучит искусственно, однако исследователи на данном этапе не добивались ее естественного звучания. Четыре носителя французского языка проверили работу программы: каждого из участников исследования попросили беззвучно произнести семь гласных и несколько последовательностей, построенных по схеме гласная-согласная-гласная. После этого 12 человек, также говорящих на французском языке, пытались определить по восстановленному голосовому сигналу, какой звук произнесли испытуемые. 

Тестирование показало, что искусственный интеллект распознает гласные звуки значительно лучше, чем согласные — средняя точность распознавания гласных достигала 86 процентов, а согласных — 49 процентов. Последовательности гласных система распознавала в 48–52 процентах случаев.

В будущем подобное устройство может быть использовано для помощи людям с проблемами речевого тракта. Кроме того, изобретение авторов работы поможет другим исследователям при разработке нейрокомпьютерных интерфейсов, которые будут воспроизводить речь человека только на основе сигналов его мозга. В частности, ученые смогут использовать похожий подход.

 

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Анімація WWF показує, що за останні 200 років океан став надто шумним місцем для китів

Доля морських ссавців, для яких через діяльність людини океан став надто шумним місцем (особливо для китів), зображена у зворушливому анімаційному відео.

Життя собак тоді і зараз: якби собаки могли мандрувати в минуле, вони б цього не робили

Бренд CESAR запустив кампанію, підкреслюючи, наскільки комфортним є життя собак зараз, порівняно з тим, яким воно було у минулі століття.

TISC Укрпатент разом із UNIT.City презентували IP Guide для українських ІТ-компаній

TISC Укрпатент разом із UNIT.City презентували IP Guide для українських ІТ-компаній

17 лютого в інноваційному парку UNIT.City відбулась презентація IP Guide для сфери інформаційних технологій. В ньому зібрані головні поради щодо ...

Бренд рушників Sheridan зобразив властивості своєї продукції танцем

Міцність та красу рушників зображав танцювальний колектив Sydney Dance Company, щоб хореографією показати, чому бренд Sheridan відрізняється від інших.

Безкоштовний онлайн-саміт Beyond Eastern Europe: Як українцям працювати на іноземних ринках

25 лютого о 10:00 відбудеться безкоштовний онлайн-саміт Beyond Eastern Europe, організований компанією Payoneer. Понад десять експертів в області бізнесу та ...

Анімація на пательні: режисери Wriggles&Robins спекли відео до Дня млинця

Яким би млинцям ви не надавали перевагу, певно ви оціните майстерність режисерів-аніматорів, які спекли 600 млинців, перетворивши їх на відео до Дня млинця.