Tencent открыла AuK - универсальную модель для обработки аудио

AuK выполняет несколько задач через инструкции на естественном языке:

* синтез речи и клонирование голоса без примеров для обучения
* замена, добавление и удаление слов в записи
* изменение эмоции, высоты, скорости и громкости голоса
* удаление акцента и преобразование речи в шёпот
* переписывание текста песни с сохранением мелодии и голоса
* удаление шума и реверберации
* разделение спикеров
* извлечение вокала из музыки

Модель содержит 1,5 млрд параметров. Опубликованы веса и код под лицензией MIT, доступны CLI, Gradio и ComfyUI. По данным Tencent, AuK превосходит Qwen3-TTS в заявленных тестах.

Также выпущена AuK-Flash - дистиллированная версия, которой требуется всего четыре шага инференса. В одинаковых условиях она работает в 4,5 раза быстрее полной модели.

Важно: 1,5B - размер только основной модели. Эталонная конфигурация дополнительно загружает Qwen2.5-Omni-3B как мультимодальный энкодер и отдельный VAE. Запуск рассчитан на PyTorch + CUDA, поддержки llama.cpp и GGUF нет.

https://www.orcarouter.ai/blog/auk-open-weights-speech-explained