Meta* разрабатывает ИИ-систему MoCha, которая создаёт киносцены и синхронизирует речь

Исследователи Meta* совместно с учёными из университета Ватерлоо показали MoCha — ИИ-систему, которая генерирует полную анимацию персонажей с синхронизацией речи и движений. MoCha обучали на основе трёх сотен часов видеоконтента с текстовым описанием.

MoCha работает на основе диффузионной модели-трансформера с 30 миллиардами параметров. Система способна генерировать HD-видео длиной до пяти секунд со скоростью 24 кадра в секунду. А ещё MoCha может генерировать диалоги между двумя героями — для этого достаточно прописать в промпте перед репликами «Персонаж 1» и «Персонаж 2».

Разработчики заявляют, что MoCha будет полезна в самых разных сферах: от цифровых помощников и виртуальных аватаров до рекламы и образовательного контента. Команда создателей также планирует показать ИИ-систему киностудиям, но пользователи Х считают, что для кинематографа она пока не годится.

* Организация Meta объявлена экстремистской, её деятельность запрещена на территории РФ.