🤖🎙 США: Fish Audio представила Drama 3 – модель для клонирования голосов, управления эмоциями и редактирования речи
Американская компания «Фиш Аудио» представила Drama 3 – новую модель синтеза речи для создания реалистичной озвучки, клонирования голосов, многоголосых диалогов и редактирования аудиозаписей.
Модель поддерживает 83 языка, включая русский, и построена на архитектуре (MoE). При общем объёме 35 млрд параметров для обработки каждого токена задействуется около 3 млрд. Частота дискретизации звука – 44,1 кГц.
🔻 Главная особенность – управление произнесением текста с помощью обычных языковых команд.
Эмоциональная озвучка. Пользователь может указать, как произносить отдельные фразы: спокойно, с раздражением, испуганно, шёпотом, с плачем или смехом. Команды размещаются непосредственно в тексте, позволяя менять интонацию, темп и эмоциональное состояние даже посреди предложения. Поддерживаются вздохи, паузы и другие неречевые звуки.
Клонирование голоса. Drama 3 воспроизводит тембр и индивидуальные особенности речи по одной или нескольким аудиозаписям. В официальном примере используется образец продолжительностью 3,9 секунды. Для локального сервера SGLang-Omni установлен настраиваемый предел 60 секунд на один образец.
Многоголосые диалоги. В одном сценарии поддерживается до 16 персонажей с разными голосами. Модель учитывает последовательность реплик и развитие сцены, обеспечивая согласованную озвучку продолжительных диалогов.
Многоязычная озвучка. Предусмотрено сохранение характерного голоса персонажа при переходе между языками. При этом указания по эмоциональному исполнению можно задавать на языке, отличном от языка озвучиваемого текста.
Управление продолжительностью речи. Специальная команда позволяет задавать ориентировочную длительность отдельных реплик. Например, 65 акустических кадров соответствуют примерно трём секундам звучания. Это представляет интерес для дубляжа видео и согласования речи с изображением, хотя точное соблюдение длительности не гарантируется.
🔻 Отдельное направление – исправление готовой озвучки.
Повторная генерация по замечаниям. Пользователь может прослушать результат и потребовать изменить манеру исполнения: сделать речь тише, спокойнее, эмоциональнее или замедлить отдельную фразу. Модель учитывает предыдущие варианты озвучки.
Точечное редактирование. Предусмотрена замена отдельных слов и предложений без повторной генерации всей записи. Новый фрагмент создаётся с учётом окружающего звучания, чтобы сохранить тембр, интонацию и естественность переходов.
Эти два режима редактирования пока проходят ограниченное тестирование в облачном сервисе, а программный интерфейс для них готовится к выпуску.
⚡️ Скорость и локальный запуск
Drama 3 поддерживает потоковую генерацию: звук выдаётся частями по мере формирования. При испытаниях на NVIDIA H200 первый звуковой фрагмент формировался с медианной задержкой 89 мс, а генерация выполнялась примерно в 7,6 раза быстрее воспроизведения.
По результатам испытаний Artificial Analysis модель правильно воспроизвела 93,2% сложных элементов английской речи против 88,1% у Fish Audio S2.1 Pro.
Веса и исходный код опубликованы. Размер файлов модели – около 41,5 ГБ, для штатного локального запуска требуется не менее 48 ГБ видеопамяти NVIDIA. Поддерживаются Fish Speech и SGLang-Omni, в том числе с локальным API. Модель распространяется по лицензии Fish Audio Community License v1.0.
🔵 Практическое значение – переход от обычного синтеза речи к управляемой озвучке, при которой можно задавать голос, эмоции, интонацию, продолжительность реплик и распределение ролей, а затем корректировать исполнение