👾 VASA — гиперреалистичный говорящий аватар

Новая технология от Microsoft позволяет создать аватар, который двигается и говорит, как настоящий человек. Эта технология может работать в реальном времени и точно повторять мимику и движения лица по звуку. VASA расширяет возможности использования цифровых аватаров, улучшая взаимодействие с пользователем и помогая в производстве видеоигр и фильмов.

🤡 Для создания цифрового аватара с помощью генеративной модели VASA-1 достаточно загрузить фото и аудиодорожку с голосом. Модель анимирует изображение и выдаст на выходе видео 512x512 с частотой до 40 кадров в секунду, которое будет имитировать движения головы, мимику лица и естественные движения губ с полной синхронизацией с произносимой речью. VASA может оживить не только фотографию, но и нарисованную картинку.

👎 В Microsoft отмечают, что модель улавливает широкий спектр эмоций речи, нюансов в движении лицевых мышц, а также воспроизводит это максимально органично, чтобы не возникало ощущения сгенерированности. Однако в корпорации знают о рисках использования технологии для создания дипфейков, поэтому видео от VASA всё ещё далеки от полной реалистичности и включают заметные артефакты.

🔜 Попробовать VASA пока нельзя, но выразительные примеры генерации уже выложены в публичный доступ. Ожидается, что протестить можно будет в ближайшие месяцы.

📕 Читайте также:

🤖 OpenAI создали технологию клонирования голоса, но доступ к ней закрыт... пока

🖌 Создаем ИИ-инфлюенсера

#news #microsoft @hiaimedia