В одном из предыдущих выпусков AIA Podcast мы с Витей уже рассказывали вам про проект HeyGen, который обещал делать реалистичных видео-аватаров, неотличимых о вас самих. Тогда мы удивлялись, что это выглядит как фантастика.

Сегодня HeyGen запустил сервис, который переозвучивает видео на несколько языков и делает lip-syncing - синхронизацию губ под выбранный язык. В сервисе есть триальны режим, можно попробовать переозвучить видео до двух минут.

Вот вам результат, который получился у меня за 3 клика мышью. Сказать, что я удивлен - ничего не сказать. Качество перевода отличное, сохранена манера речи и есть сносный lip-syncing (это прям не простая задача для не родственных языков). Это next step. Жду когда они сделают ТП для переозвучки видео длиной час и больше - сейчас они работают с пятиминутными роликами, 6 роликов в месяц за 50 долларов.

UPD: Сервис официально не поддерживает русский язык в качестве input. Но, так как там на бэке видимо какая-то LLM'ка, то в целом можно забить на это правило.
#ai