Dia-1.6B

Сверхреалистичная модель генерации речи из текста. Заявлено, что превосходит ElevenLabs и Sesame.

При всего лишь 1.6 миллиарде параметров способна напрямую генерировать высокореалистичные диалоги из текста, с поддержкой управления эмоциями и интонацией, а также может воспроизводить внелингвистические звуки вроде смеха и кашля.

🔸Управление многоролевыми диалогами с помощью тегов [S1] и [S2];

🔸Поддержка генерации внелингвистических выражений, таких как смех, прочищение горла, вздохи и т. п.;

🔸Функция клонирования голоса — возможность воспроизвести определённый голосовой стиль;

🔸Генерация в реальном времени — около 40 токенов в секунду на GPU A4000.

Предоставляется интерфейс Gradio UI — прост в использовании, также доступен онлайн-демо на Hugging Face.

Скачать модель: http://huggingface.co/nari-labs/Dia-1.6B

📁 Language: #Python

⭐️ Stars: 8.1k

➡️ Cсылка на GitHub

📱 @git_developer