ИИ-аватар приняли за человека почти в половине видеозвонков

Tavus, которая занимается созданием реалистичных ИИ-аватаров для видеозвонков, показала новое поколение своей технологии – Griffin. Компания называет его первым ИИ, прошедшим некий «видеотест Тьюринга» – на том основании, что после минутного разговора 26 из 54 участников их внутреннего эксперимента решили, что общались с настоящим человеком.

Griffin в реальном времени генерирует не только лицо и речь, а всего виртуального собеседника вместе с мимикой, взглядом, жестами и окружающей сценой. В основе системы лежит мультимодальная модель, которая непрерывно получает звук и видео, сама решает, что и когда сказать и как при этом должен вести себя аватар, а отдельные модели уже генерируют голос и изображение. Поэтому ИИ на протяжении разговора продолжает видеть и слышать человека, замечает паузы, реагирует на предметы перед камерой, меняет выражение лица и может говорить одновременно с собеседником. На демо выглядит сильно лучше недавних ИИ-аватаров Google, хотя артефакты никуда не исчезли – движения не всегда естественные, губы временами не синхронизируются с аудио.

Использовать Griffin, правда, пока практически невозможно. Модель компания не открывает обычным клиентам – якобы по той причине, что боятся роста мошенничества и сначала хочет добавить механизмы безопасности и маркировки. Даты публичного запуска пока нет.