Компания Amazon представила музыкальный синтезатор DeepComposer и одноименный облачный сервис для создания музыки, работающий на основе генеративно-состязательных нейросетей. С помощью них пользователь может задать основную мелодию на синтезаторе и получить полноценную песни, в которой оригинальная партия дополнена барабанами, гитарой и другими инструментами.
Исследователи в области машинного обучения давно работают над созданием алгоритмов, способных помогать людям при создании произведений искусства или даже самостоятельно выполнять эту работу. Наибольшее внимание получили алгоритмы машинного обучения, работающие с изображениями, например, меняющие стиль картин. В области нейросетевого синтеза музыки тоже работает немало исследователей, и некоторые из них, например, группа Magenta в составе Google AI, добились немалых успехов, в том числе и в прикладных разработках, которые потенциально могут использовать музыканты. К примеру, они создали алгоритм, дополняющий игру на любом инструменте соответствующей партией на барабанах.
Amazon представила отчасти похожий, но более широкий и готовый для массового использования сервис DeepComposer. Сервис работает на основе нейросетевых алгоритмов, которые получают последовательность игры на одном инструменте и синтезируют в дополнение к ней последовательности для других инструментов. Пока сервис может дополнять оригинальную последовательность несколькими инструментами, такими как электрогитара, бас, барабаны и синтезатор. Кроме того, пользователь выбирает из обученных моделей для рока, поп-музыки, джаза и классической музыки, однако он может загрузить собственный набор данных и обучить модель для нужного стиля.
Здесь должно было быть аудио, но что-то пошло не так. Здесь должно было быть аудио, но что-то пошло не так.
Мелодия, дополненная нейросетями
Вместе с сервисом компания представила совместимый 32-клавишный синтезатор. Помимо основных клавиш он оснащен 11 функциональными клавишами, например, кнопкой смены октавы. Он подключается к компьютеру по USB и передает данные в виде MIDI-последовательности. Стоимость клавиатуры составляет 99 долларов, а стоимость сервиса рассчитывается из времени работы серверов при обучении и использовании нейросетевых моделей.
Ранее исследователи в области музыкальных нейросетевых алгоритмов из Magenta также создавали физические инструменты, в том числе и кнопочный синтезатор. Он имеет только восемь клавиш и после нажатия на каждую из них самостоятельно подбирает подходящую комбинацию из стандартного фортепианного набора из 88 клавиш. Кроме того, они создали открытый проект нейросетевого синтезатора, позволяющего музыкантам экспериментировать и создавать новые звуки, совмещая акустические свойства существующих инструментов.
Иллюстрация к статье:
Обсуждение