Всем привет! Еще раз поздравляю с наступившим 2023 годом🎄🎅🎉

⚡️⚡️⚡️
Начну год с одного из ключевых достижений команды в 2022 году. Сделали крутую модель для быстрого переноса лица с фото на фото или видео - GHOST (Generative High-fidelity One Shot Transfer). За основу была первично взята архитектура FaceShifter, которая в начале наших исследований казалась наиболее удачной.

В итоге мы доработали её для переноса лица с изображения на видео и внесли ряд изменений, ключевые из которых:
💡дополнительный лосс на направление взгляда
💡адаптивная сглаженная маска переноса лица
💡блок устранения эффекта дрожания (jittering) при переносе на видео

По результатам экспериментов выбили SoTA среди известных моделей (FaceSwap, DeepFakes, FaceShifter, SimSwap и HifiFace) на ряде валидационных сетов по таким метрикам как сохранение identity, shape и направления взгляда. По метрике переноса позы наша модель близка к SoTA, и мы постараемся еще улучшить показатели в этом году.

Некоторые примеры переноса лиц с фото на фото можно увидеть в закрепе к посту. Более подробно с материалами исследований можно ознакомиться в опубликованной статье в IEEE Access (пробились со второго раунда ревью 🏆), а репозиторий модели можно найти тут.

Ну и конечно же, не могли обойти стороной и любимых пользователей. Запустили ТГ-бот для того, чтобы поиграться с моделью (ограничение на длину загружаемого видео - 20 секунд).

⚡️Скорость переноса на FullHD видео высокая - около 12 FPS.

Все ссылки скопом для удобства ⬇️

📘статья
📕Хабр
🖥 GitHub + коллаб
🔥TG_Bot

@complete_ai