Google представила браузерного нейросетевого барабанщика

Исследователи из Google создали сервис DrumBot, который в реальном времени дополняет мелодию на синтезаторе партией на ударных. Сервис работает в виде браузерного приложения, к которому можно подключить синтезатор, рассказывают разработчики в своем блоге. Код и инструкции для использования сервиса на стороннем сервере опубликованы на GitHub.

Алгоритмы машинного обучения для работы со звуком обычно можно разбить на две основные группы. Одни алгоритмы создают новую музыку — ее однако, сложно назвать качественной с эстетической точки зрения. Алгоритмы второй группы же помогают музыкантам и композиторам при создании и исполнении музыки — и сейчас они достаточно развиты.

Во многом такие алгоритмы развиваются усилиями исследователей из проекта Magenta, входящего в состав Google. Например, они разработали вариационный автокодировщик, позволяющий преобразовывать музыку на разных инструментах или в разных стилях в другие, сохраняя при этом общую мелодию, ритм и другие ключевые свойства. На его основе они создали программу, позволяющую добавлять партию на ударных к мелодии, исполненной на другом инструменте.

Пока подобные алгоритмы и сервисы работают с записанными мелодиями и не могут быть использованы в качестве замены реальному музыканту, способному подыграть на барабанах или другом инструменте. В новом проекте разработчики из Magenta использовали ту же нейросетевую модель для более удобного сервиса, работающего в реальном времени. Сервис работает в виде браузерного приложения, а пользователь может задать мелодию на своем синтезаторе, подключив его к компьютеру, или использовать виртуальный синтезатор на экране.

После того, как пользователь сыграл два такта, алгоритм генерирует и воспроизводит соответствующую ударную партию. При этом он может продолжить играть, и на следующих двух тактах алгоритм будет проигрывать новую партию. Разработчики реализовали сервис в виде легковесного браузерного алгоритма и Node.js-программы, работающей на более мощном облачном сервере.

Одна из авторов отметила, что сервис принимает мелодию и выдает результат в виде MIDI-последовательности, поэтому музыканты могут использовать удобные им инструменты, а также записывать полученные композиции, чтобы работать с ними дальше. Сервис можно развернуть на своем компьютере, код и инструкции для этого опубликованы на GitHub.

Источник: https://nplus1.ru/

Заглавная иллюстрация: https://ua.depositphotos.com/

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Укрпошта випустила поштові марки з героями мультфільму «Мавка. Лісова пісня»

Укрпошта спільно зі студією Animagrad (FILM.UA Group) 30 листопада представили поштовий випуск із героями мультфільму «Мавка. Лісова пісня», присвячений 150-річчю ...

Nebo ideas agency и магия кофе «Чорна Карта»

Nebo ideas agency выпустило новый магический ролик для бренда «Чорна Карта». В нем креативщики решили показать историю одного дворика итальянского ...

Українські зірки закликають вийти з кола насильства: кампанія від UNFPA

Українські зірки закликають вийти з кола насильства: кампанія від UNFPA

Фонд ООН у галузі народонаселення UNFPA разом з рекламною агенцією Skykillers та командою Shootgroup створили проєкт, націлений на боротьбу з ...

Сигіли, гліфи, танцюючі ведмеді: 11 історій створення логотипів культових рок-гуртів

Протягом усього часу існування рок-музики гурти та музиканти використовували різні прийоми та артибути для просування своєї музики. Одні вважали, що ...

АЗК WOG запустив проєкт з переробки кавової гущі

АЗК WOG спільно з українською еко-компанією Blue Ocean Solutions (BOS) в рамках ЕКО-платформи «До природи з добром» запустили проєкт з ...

У Києві відкрили «Мистецьку алею» з об’єктами у доповненій реальності

На вулиці Бориса Грінченка у Києві встановили десять артоб’єктів, присвячених відомим особистостям, а також музичним або літературним явищам 20-го століття. ...