Google представила браузерного нейросетевого барабанщика

Исследователи из Google создали сервис DrumBot, который в реальном времени дополняет мелодию на синтезаторе партией на ударных. Сервис работает в виде браузерного приложения, к которому можно подключить синтезатор, рассказывают разработчики в своем блоге. Код и инструкции для использования сервиса на стороннем сервере опубликованы на GitHub.

Алгоритмы машинного обучения для работы со звуком обычно можно разбить на две основные группы. Одни алгоритмы создают новую музыку — ее однако, сложно назвать качественной с эстетической точки зрения. Алгоритмы второй группы же помогают музыкантам и композиторам при создании и исполнении музыки — и сейчас они достаточно развиты.

Во многом такие алгоритмы развиваются усилиями исследователей из проекта Magenta, входящего в состав Google. Например, они разработали вариационный автокодировщик, позволяющий преобразовывать музыку на разных инструментах или в разных стилях в другие, сохраняя при этом общую мелодию, ритм и другие ключевые свойства. На его основе они создали программу, позволяющую добавлять партию на ударных к мелодии, исполненной на другом инструменте.

Пока подобные алгоритмы и сервисы работают с записанными мелодиями и не могут быть использованы в качестве замены реальному музыканту, способному подыграть на барабанах или другом инструменте. В новом проекте разработчики из Magenta использовали ту же нейросетевую модель для более удобного сервиса, работающего в реальном времени. Сервис работает в виде браузерного приложения, а пользователь может задать мелодию на своем синтезаторе, подключив его к компьютеру, или использовать виртуальный синтезатор на экране.

После того, как пользователь сыграл два такта, алгоритм генерирует и воспроизводит соответствующую ударную партию. При этом он может продолжить играть, и на следующих двух тактах алгоритм будет проигрывать новую партию. Разработчики реализовали сервис в виде легковесного браузерного алгоритма и Node.js-программы, работающей на более мощном облачном сервере.

Одна из авторов отметила, что сервис принимает мелодию и выдает результат в виде MIDI-последовательности, поэтому музыканты могут использовать удобные им инструменты, а также записывать полученные композиции, чтобы работать с ними дальше. Сервис можно развернуть на своем компьютере, код и инструкции для этого опубликованы на GitHub.

Источник: https://nplus1.ru/

Заглавная иллюстрация: https://ua.depositphotos.com/

Теги:

ТОБІ СПОДОБАЄТЬСЯ

KMW-CW-Europe-UK-creativity-UA

KMW Global Marathon презентує секцію «Центральна та Західна Європа, Велика Британія: аналітичний огляд, ключові події, факти, цифри»

Провідна британська аналітична компанія Ampere Analysis приєднується до KYIV MEDIA WEEK Global Marathon та 14 вересня представить огляд аудіовізуальної індустрії Центральної, Західної Європи та Сполученого ...

Українські артисти створили «Всеукраїнську професійну спілку працівників музичної індустрії»

Про це повідомили на сторінці новоствореної організації. До Профспілки увійшли артисти, продюсери, організатори подій та багато інших людей, причетних до ...

Fortnite проти Apple: найпопулярніша гра позивається на найдорожчу компанію світу

Початок конфлікту між Fortnite та Apple ознаменував, зокрема, ролик, який кадр за кадром пародіює іконічну рекламу Apple «1984».

Компанія Optus збудувала велетенську іграшкову трасу для перегонів, щоб пояснити логотип «yes»

Все почалося з того, що новачок погодився приєднатися до монументального задуму дітей і збудувати разом з ними велетенську іграшкову трасу для перегонів.

Американські стоматологи зняли серію сатиричних відео про самолікування

Як показує ця серія сатиричних відео про самолікування від Американської асоціації ортодонтів, сам собі лікар – не те саме, що сам собі перукар.

Український фотограф Артур Абрамів переміг у міжнародному фотоконкурсі National Geographic

Львівський фотограф Артур Абрамів переміг у міжнародному фотоконкурсі від National Geographic Treveller India «World Public Transport». Фотопроєкт присвячений різноманіттю видів громадського ...