Обещал отдать модельку на публичное растерзание - держите
Как оно обучалось и что получилось:
https://t.me/xVibeNot/96
Если пропустили: full finetune Pocket TTS от Kyutai на русский. Около 90M параметров, клонирование голоса по короткому референсу и синтез быстрее реалтайма даже на CPU.
В репо собрал все для запуска:
- Локальная веб-морда, cli и api
- Потоковая генерация
- RUAccent для автоматических ударений
- Три готовых голоса и WAV для примера клонирования
Ручные ударения тоже работают:
з+амок и зам+ок.CPU и GPU отдельно проверил, даже запускается)
Кто не хочет ничего ставить - есть демка с загрузкой своего голоса.
Пробуйте, кидайте примеры.
Особенно где получилось криво - интересно посмотреть, на чем ломается.
Github:
https://github.com/GenVoice/xVibePocketTTS
HF:
https://huggingface.co/genvoice/xVibePocketTTS
HF демка:
https://huggingface.co/spaces/Brakanier/xVibePocketTTS