Команда MiLM Plus из Xiaomi опенсорснула генератор звука по текстовому описанию, который создаёт целостные аудиосцены из речи, музыки, звуковых эффектов и фоновой акустики окружающей среды.
Под капотом - собственный аудиотокенизатор MiDashengLM-0.6B, построенный по архитектуре DashengTokenizer, и дообученная языковая модель Qwen3-1.7B, работающие в связке с Flow matching на базе DiT.
Данные для обучения из двух источников: первый - приватный суперсет ACAVCaps на 77 тысяч часов с речью, музыкой и эффектами, второй - микс TTS-корпусов Emilia, LibriTTS, LJSpeech, AISHELL-3, WenetSpeech4TTS.
Русский язык модель знает, в речевой части ACAVCaps его доля 4,66%, но основа обучения всё же английский (54%) и китайский (24,5%). В TTS-сетах русского нет вообще, и это видно по качеству (13,19% ошибок против 2,42% на английском).
Управление в промпте задаётся тегами:
<|caption|> - описание всей сцены;<|asr|> - текст для озвучки голосом;<|speech|> - тон, эмоции, стиль голоса;<|sfx|> - звуковые эффекты;<|music|> - описание музыки;<|env|> - окружающая среда.Указывать нужно все, а если поле неприменимо, туда идёт
<|unknown|>. У чистой речи, например, заглушки стоят в полях музыки и эффектов.Смысл в том, чтобы управляющие факторы не слипались друг с другом. Модель видит явное разделение и не пытается вывести стиль говорящего из описания фонового шума.
На выходе - трек в формате WAV с частотой дискретизации 16 кГц. Длина ограничена до 20 секунд, на более длинных таймингах модель не проверяли.
🟡Тесты
Прямых аналогов среди открытых моделей почти нет, поэтому авторы сопоставляют систему с узкоспециализированными по каждой задаче и со своим же предшественником Dasheng AudioGen.
Основная причина для гордости - разборчивость речи. На английском Seed-TTS доля ошибок упала с 12,15% до 2,79%. Мультиязычность тоже подтянулась, но до уровня Qwen3-TTS и Seed-TTS система не дотягивает.
Вин-стрик по эмоциям на CV3-Eval, где эмоция подсказана текстом, - 0,98 радость, 0,96 грусть, 0,92 злость.
По генерации отдельных звуков в AudioCaps система уступает TangoFlux (FAD 5,01 против 2,26).
В планах - клонирование голоса, подтягивание низкоресурсных языков и управление по времени.
📌Лицензирование: Apache 2.0 License
🟡Страница проекта
🟡Веса
🟡Arxiv
🟡Демо
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #TTA #TTS #TTSFX #MiDashengLM #Xiaomi