Пока что в аудио ML не было сенсаций, вернёмся к классике моего канала: автоматический перевод аудио в ноты фортепиано. Изредка, но я продолжаю работать над @Audio2Midi_bot 😐

Кароч теперь мы резиденты академии инноваторов и нам дали доступ к кластеру Ломоносов МГУ. Супер, впервые побывал там. Приятное место, да и сегодня там было очень пусто) Погода дождливая и воскресенье, а мы работаем до 22, хы.

Сейчас у меня 3 потока мыслей:
1) Заменить jukebox энкодер на энкодер получше, типа WavTokenizer) Их идея и правда крутая, хочу воспроизвести.
2) Сделать сильный декодер, сейчас просто трансформер с кросс энтропией инвариантной к октаве. Думаю один такой лосс многое не учитывает. Да и если брать WavTokenizer из 40-75 токенов получить полный миди файл звучит непросто. Наверняка нужно много данных и сильный декодер.
3) Смотрю в сторону иерархических архитектур в декодере. Для нот такая структура хорошо подходит, наверное. Распознавать такты, тональность, аккорды, длительность...

Обменялись новостями и начали ресерчить работы по automatic music transcription. На удивление в этом году появилось в 2-3 раза больше работ, чем в прошлом. Искали хорошие идеи для создания датасета, с его наличием большая проблема. Есть много аудио файлов где уже играет музыка на пианино по мотивам песен, но нет миди. Поэтому хотим сейчас решить проблему с недостатком данных через распознавание нот в аудио, где звучит ТОЛЬКО пианино. Эту задачу решить легче, но тоже сложно. Потестили сота модельки, они хорошо справляются, не без ошибок. Можно ещё распознавать миди по кадрам видео, трекинг прямоугольничков) Но такие модели еще совсем сырыре.

Просто дайте нам миллион аудио-миди пар, мы все сделаем, миу...