Зацените липсинк от TBDub - модель от Alibaba, которая подгоняет артикуляцию в видео под новую озвучку.

Для голоса взял Qwen3-TTS с дообучением под русские ударения RU-Stress-CF.

То есть, я дал пример видео, дал пример моего голоса, дал текст, и модель озвучила ее и подогнала движение губ под новый текст.

И все это локально на Macbook M5Pro 48Gb. В пике потребляет 24Гб ОЗУ.

Сравнивал с MuseTalk, LatentSync, HighSync. TBDub всех уделал по точности и качеству.

Сейчас хочу еще протестировать новую модель клонирования голоса Drama 3 от FishAudio. Позже поделюсь результатами.
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym