Скоро выступлю с докладом: "Генерация нот на основе аудио произвольного содержания". Начинаю популяризировать ML in music.

Могу тупить во время презентации) Но основные тезисы вот:

*️⃣Репрезентации от моделей предобученных для генерации музыки очень полезны. По крайней мере репрезентации от JukeBox.
*️⃣Берем репрезентации и подаем их на вход языковой модели (не обученной) и обучаем решать наши задачи из MIR.
*️⃣В будущем попробую токенезировать все возможные нотные обозначения и размечать набор данных собирая последовательность токенов. Потом на этих данных учить свои модели, в теории все будет круто и получится новая SOTA для генерации нот и др. MIR задач, хы.

Я конечно очень многое не сказал сейчас и на докладе не скажу. Формат ограничивает, так что задавайте вопросы тута, ну и... Мы еще увидимся на других конференциях/митапах! 🙂

Вышла запись:
https://youtu.be/uLZsDD4PFxw?si=IWcmn72PwhZ5Ua0B