🎧 SongCreator: Lyrics-based Universal Song Generation

Универсальный генератор песен на основе лирики.

Модель включает в себя два новых иннструмента: тщательно разработанную модель языка двойной последовательности (DSLM) для сбора информации о вокале и аккомпанементе для генерации песен, а также инструмент маскировки внимания для DSLM, который позволяет модели понимать, генерировать и редактировать песни.

Обширные тесты демонстрируют эффективность SongCreator: во всех восьми задачах генерации показывает лучшие или конкурентоспособные результаты в этой области.

В частности, он с большим отрывом превосходит предыдущие работы в задачах «текст-песня» и «текст-вокал». Кроме того, он способен самостоятельно управлять акустическими условиями вокала и аккомпанемента в создаваемой песне с помощью различных промотав, что свидетельствует о его потенциальной применимости.

▪HF: https://huggingface.co/papers/2409.06029
▪Page : https://songcreator.github.io/

@machinelearning_ru