ACE-Step: Новый опен-сорсный генератор музыки. Stable Diffusion moment для музыки.

Существующие методы сталкиваются с присущим им компромиссом между скоростью генерации, музыкальной связностью и управляемостью. Например, модели на основе LLM (например, Yue, SongGen) отлично справляются с текстами, но страдают от медленного инференса и структурных артефактов. Диффузионные модели (например, DiffRhythm), с другой стороны, обеспечивают более быстрый инференс, но часто не имеют структурной связности на больших длительностях.

Вместо того чтобы создавать еще один сквозной генератор для преобразования текста в музыку, мы хотим создать базовую модель для музыкального ИИ: быструю, универсальную, эффективную, но гибкую архитектуру, которая позволяет легко обучать подзадачи поверх нее. Это открывает путь для разработки мощных инструментов, которые легко интегрируются в творческие рабочие процессы музыкальных исполнителей, продюсеров и создателей контента. Одним словом, мы стремимся создать Stable Diffusion moment для музыки.

Есть демо, можно погенерить, а на странице проекта есть примеры.
Это, конечно, не Суно, но сам замысел и амбиции мне нравятся. Сделать Stable Diffusion для музыки, чтобы потом увешать его лорами и файнтюнами - звучит круто.

Смотрите, что у них в планах:
Release RapMachine lora
Release ControlNet training code
Release Singing2Accompaniment controlnet

https://ace-step.github.io/

Код?
Апажалста: https://github.com/ace-step/ACE-Step

Попробовать?
Тут: https://huggingface.co/spaces/ACE-Step/ACE-Step

@cgevent