Давно не писал о проекте Audio2MIDI, а ведь есть чем поделиться. Самое яркое событие — наша команда получила грант! Большой респект моей команде, которую я обрел после выступления на Data Fest о моей задаче и будущих направлениях ресерча.

Чего мы хотим? Мы хотим сделать более качественные ответы модели и чтобы это работало быстрее, чем у конкурентов) База. Чтобы сделать более качественные ответы, первым делом нужно посмотреть на данные.

Уверены, что нужно собрать свой датасет формата: аудио — ноты. Сложная задача, потому что таких пар, так еще и качественных не сильно много, но и не мало, главное найти из самых разных мест интернета. Мы справимся с этим) Есть разные пути... Собрать готовые миди, найти исходное аудио (сложно), но также бывает, что миди нет, но ноты в некотором виде есть. Будем пробовать выцепить ноты из видео/аудио (еще сложнее), где звучит адаптированная музыка на фортепиано. Успехов нам)

В плане модели с моей стороны будет развиваться решение задачи, как end2end. Для этого нужно токенизировать таргет (ноты) и я предлагал инструмент midi токенизации. Однако он мне не подходит, т.к. хочу генерировать ноты разной сложности (чтобы можно было из 1 последовательности нот получить ноты разной сложности). Для этого мне нужно обновить словарь токенов и заново обучать midi токенизаторы на основе LLM.

Также для ускорения и оптимизации модели попробую заменить аудио репрезентации JukeBox, на EnCodec и некоторые другие. Также вместо простого разряженного трансформера попробую использовать LM, например Canine-C (почему, скажу потом) и другие. Также, наверняка будет проблема с длиной контекста, буду собирать аудио частями или оптимизирую длину контекста через multy-sacle transformer... Плюс токенизировать аудио можно по разным модальностям: разделить инструменты и вокал, затем объединить 2 последовательности. Ну например сделать это также как в CLAP: поэлементно перемножить 2 последовательности одинаковой длины.

У меня много идей, которые нужно проверить и много идей, которые я даже не до конца сформировал, чтобы ими поделиться. Нужно углубляться в методы авторегрессионной генерации, кстати для аудио есть отличная статья в этом плане. Если полностью изучите ее, то считайте, что познали аудио домен (исключая диффузионки в аудио). И наконец, я начинаю изучать диффузионки (очень интересно, да).

#startup #music_transcription #audio