Google представила браузерного нейросетевого барабанщика

Исследователи из Google создали сервис DrumBot, который в реальном времени дополняет мелодию на синтезаторе партией на ударных. Сервис работает в виде браузерного приложения, к которому можно подключить синтезатор, рассказывают разработчики в своем блоге. Код и инструкции для использования сервиса на стороннем сервере опубликованы на GitHub.

Алгоритмы машинного обучения для работы со звуком обычно можно разбить на две основные группы. Одни алгоритмы создают новую музыку — ее однако, сложно назвать качественной с эстетической точки зрения. Алгоритмы второй группы же помогают музыкантам и композиторам при создании и исполнении музыки — и сейчас они достаточно развиты.

Во многом такие алгоритмы развиваются усилиями исследователей из проекта Magenta, входящего в состав Google. Например, они разработали вариационный автокодировщик, позволяющий преобразовывать музыку на разных инструментах или в разных стилях в другие, сохраняя при этом общую мелодию, ритм и другие ключевые свойства. На его основе они создали программу, позволяющую добавлять партию на ударных к мелодии, исполненной на другом инструменте.

Пока подобные алгоритмы и сервисы работают с записанными мелодиями и не могут быть использованы в качестве замены реальному музыканту, способному подыграть на барабанах или другом инструменте. В новом проекте разработчики из Magenta использовали ту же нейросетевую модель для более удобного сервиса, работающего в реальном времени. Сервис работает в виде браузерного приложения, а пользователь может задать мелодию на своем синтезаторе, подключив его к компьютеру, или использовать виртуальный синтезатор на экране.

После того, как пользователь сыграл два такта, алгоритм генерирует и воспроизводит соответствующую ударную партию. При этом он может продолжить играть, и на следующих двух тактах алгоритм будет проигрывать новую партию. Разработчики реализовали сервис в виде легковесного браузерного алгоритма и Node.js-программы, работающей на более мощном облачном сервере.

Одна из авторов отметила, что сервис принимает мелодию и выдает результат в виде MIDI-последовательности, поэтому музыканты могут использовать удобные им инструменты, а также записывать полученные композиции, чтобы работать с ними дальше. Сервис можно развернуть на своем компьютере, код и инструкции для этого опубликованы на GitHub.

Источник: https://nplus1.ru/

Заглавная иллюстрация: https://ua.depositphotos.com/

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Архів пандемічної графіки зберігає для історії нашу нинішню реальність

Новий онлайн-архів пандемічної графіки, заснований молодою британською дизайнеркою Шарлоттою Вокер, збирає з усього світу характерні оголошення та символіку часів COVID-19. ...

«Май повагу до тітоньки», – каже реклама філіппінської мережі пекарень Julie’s

Події ролика для мережі пекарень Julie’s розгортаються у спортзалі, де немолоді тітоньки спокійно вправляються собі перед дзеркалом.

Львівські стартапери відтворять 3D-моделі втрачених пам’яток Львова

Львівські фахівці працюють на створенням нового виду туризму — інтерактивний туризм. Команда Chameleon Age відтворює 3D-моделі втрачених пам’яток Львова. Зокрема, ...

В Італії офіційно заборонили цензуру в кінематографі

Міністерство культури Італії остаточно врегулювало закон про цензуру в кінематографі. Згідно закону, в країні забороняється перешкоджати виходу фільму або намагатися ...

«360 хвилин про театр» — нам є, про що сказати!

8 квітня, з 12:00 до 18:00 триватиме онлайн-марафон для театралів та глядачів — «360 хвилин про театр». Понад 360 днів, нарівні зі світовим, український театр перебуває у кризі, ...

Сильвестр Сталлоне зніме фільм про братів Кличків

Сильвестр Сталлоне зніме фільм «Брати-легенди», присвячений Віталію та Володимиру Кличкам. Герой серіалу «Роккі» виступить режисером і сценаристом стрічки. Спочатку зйомки ...