У нас есть Suno дома.
Suno дома: ...
Хм, действительно, есть.

Тестирую новую китайскую модель HeartMuLa для генерации песен, и она иногда выдаёт достойные результаты.

Плюсы:
- Open-source (а значит скоро будут и Лоры и всё остальное).
- Уже есть нода для Комфи.
- Неплохо генерирует голос и мелодию.
- Мультиязычная, знает русский.
- Никаких фильтров на текст.

Минусы:
- Небольшой датасет с ограниченным числом жанров.
- Модель плохо слушается промптов, часто выдавая что-то своё - чаще всего поп-музыку.
- Однообразные голоса, иногда фальшивят.
- Качество звучания инструментов пластиковое.
- Инструментала нет, только песни с текстом.

У меня на 4090 генерация двухминутной песни занимает 6-8 минут (это какая-то локальная проблема, должно быть быстрее).

Для Linux-господ есть PR 64, который в два раза ускоряет инференс. С бубном и божьей помощью мне удалось запустить его на винде, установив triton-windows.

Если памяти мало, можно включить Lazy Load - говорят тогда влезает в 16 гигабайт.

Модель пока юная, ей всего десять дней - значит допилят до нормального состояния, если Warner Brosers не пошлют своих киллеров в Китай. Ещё авторы планируют выпустить версию 7b, что в теории улучшит качество.

Вот вам ссылка, музицируйте:
https://github.com/HeartMuLa/heartlib

#suno #music #heartmula