Исследователи из Google создали сервис DrumBot, который в реальном времени дополняет мелодию на синтезаторе партией на ударных. Сервис работает в виде браузерного приложения, к которому можно подключить синтезатор, рассказывают разработчики в своем блоге. Код и инструкции для использования сервиса на стороннем сервере опубликованы на GitHub.

Алгоритмы машинного обучения для работы со звуком обычно можно разбить на две основные группы. Одни алгоритмы создают новую музыку — ее однако, сложно назвать качественной с эстетической точки зрения. Алгоритмы второй группы же помогают музыкантам и композиторам при создании и исполнении музыки — и сейчас они достаточно развиты.

Во многом такие алгоритмы развиваются усилиями исследователей из проекта Magenta, входящего в состав Google. Например, они разработали вариационный автокодировщик, позволяющий преобразовывать музыку на разных инструментах или в разных стилях в другие, сохраняя при этом общую мелодию, ритм и другие ключевые свойства. На его основе они создали программу, позволяющую добавлять партию на ударных к мелодии, исполненной на другом инструменте.

Пока подобные алгоритмы и сервисы работают с записанными мелодиями и не могут быть использованы в качестве замены реальному музыканту, способному подыграть на барабанах или другом инструменте. В новом проекте разработчики из Magenta использовали ту же нейросетевую модель для более удобного сервиса, работающего в реальном времени. Сервис работает в виде браузерного приложения, а пользователь может задать мелодию на своем синтезаторе, подключив его к компьютеру, или использовать виртуальный синтезатор на экране.

После того, как пользователь сыграл два такта, алгоритм генерирует и воспроизводит соответствующую ударную партию. При этом он может продолжить играть, и на следующих двух тактах алгоритм будет проигрывать новую партию. Разработчики реализовали сервис в виде легковесного браузерного алгоритма и Node.js-программы, работающей на более мощном облачном сервере.

Одна из авторов отметила, что сервис принимает мелодию и выдает результат в виде MIDI-последовательности, поэтому музыканты могут использовать удобные им инструменты, а также записывать полученные композиции, чтобы работать с ними дальше. Сервис можно развернуть на своем компьютере, код и инструкции для этого опубликованы на GitHub.

Источник: https://nplus1.ru/

Заглавная иллюстрация: https://ua.depositphotos.com/

Теги:

ТОБІ СПОДОБАЄТЬСЯ

«ЛЮКС» відзначає 20 років на ринку України новим роликом та оновленим дизайном

У березні на екранах українських телевізорів з’явилася нова реклама бренду «ЛЮКС», присвячена святкуванню 20-річчя присутності бренду на ринку України. У ...

Співачка Grimes випустила кліп на фоні зеленого екрану, з яким можна експериментувати досхочу

Із сучасним програмним забезпеченням кліп на фоні зеленого екрану легко перетворюється на канву, з якою креатор може робити що завгодно.

public-FIAT---500E---81585906322--default--1280_1

Світломузика для електрокарів: Fiat співпрацює з модними брендами

В рамках нової місії компанія Fiat співпрацює з італійськими модними брендами та закликає всіх до підтримки екології у своєму житті.

Спортсмени-олімпійці у соціальній рекламі від Visa закликають мити руки та сидіти вдома

Спортсмени-олімпійці у соціальній рекламі від Visa показали, що вони миють руки, не забувають про антисептик і взагалі тренуються вдома.

Асоціація ANAIS, яка бореться з домашнім насильством, нагадує, що не кожен дім – безпечний

У Румунії агенція Cheil та асоціація ANAIS попереджають, що випадки домашнього насильства за час карантину лише почастішали.

З гумором про сумне: абетка коронавірусу та приладдя, щоб не торкатися обличчя руками

«Абетка коронавірусу» була створена креаторами-фрілансерами, щоб допомогти людям зайняти себе чимось і підбадьорити їх у цей нелегкий час.