VibeVoice - open-source AI-модель для озвучки текста в реальном времени

Проект от Microsoft включает две модели:

1. Модель с возможностью озвучки диалога длительностью до 90 минут с участием до четырех спикеров
2. Модель с возможностью потоковой передачи текста и мгновенным воспроизведением (примерно за 300 мс)

Несмотря на то, что в данном проекте голоса представлены "как есть" (для защиты от дипфейка) без возможности модификации, очевидно, подобные инструменты могут быть использованы в Vishing-е как мошенниками, так и при проведении red-team операций.

Мы же советуем использовать этот инструмент для создания обучающего контента.

https://github.com/microsoft/VibeVoice