Транскрипцию аудио произвольного содержания в ноты для 1 инструмента теперь буду решать как end-2-end. Для этого мне нужен хороший токенезатор музыки. При чем обучить модель я смогу буквально на стандартной видюхе с 12 Гб памяти 😏

Еще я был приятно удивлен, когда узнал что уже существует с два десятка музыкальных токенезаторов и все они собраны в открытой и развивающейся либе MidiTok: https://github.com/Natooz/MidiTok

Последняя обнова была 2 недели назад, это приятно) В использовании она довольно проста, люди успели сделать ее удобной 👍

В то же время, мои новые коллеги пробуют другой вариант на основе разделения инструментов и вокала. Если что, на дата фесте я приобрел знакомства с единомышленниками и теперь решать задачу куда интереснее. Привет Дима) 😬

#research #music_generation