😍 Alibaba выпустила опенсорсного МОНСТРА для генерации озвучки и клонирования голоса — CosyVoice 3

У модели всего 0.5B параметров, но она обходит своих мощнейших конкурентов. Вы только посмотрите на эти фичи:

• Поддерживает 9 языков — русский, английский, китайский, японский, корейский, немецкий, испанский, французский и итальянский
• Zero-shot — главная фича, которая позволяет по отрывку в 3-10 секунд полностью склонировать голос, его тембр и манеру речи
• Распознаёт эмоции и «звуковые события» по типу чавканья, хлипов и т.д.
• Модель поддерживает стриминг голоса — она клонирует голос в реальном времени с задержкой всего 150 мс
• Самое крутое на мой взгляд — фича Pronunciation Inpainting. Можно вручную регулировать произношение отдельных слов, чтобы, например, настраивать произношение сложных терминов без ошибок
• Ещё раз — это всё на 0.5B параметров. Модель можно запустить даже на картошке и заставить её говорить
• Бонус — эта модель получила лицензию, позволяющую коммерческое использование

Китайцы, как всегда, кормят.

Пет-проект