Немного прибрались в Workflow с Димой и делимся им.

Если нужно улучшение или замена лиц, забирайте.
пример улучшения
пример замены головы

Для использования нужно поставить наши кастомные ноды в ComfyUI
введите команду в cmd в папку custom nodes:
git clone https://github.com/svyatojdismas/ComfyUI-StDismas.git
Плюс эти ноды можно юзать в других ваших пайплайнах.

Краткая инструкция:

1. Добавьте исходное видео для редактирования
2. Добавьте лицо-референс. для замены в видео будет лучше если вы сделаете свап на уже на изображении с помощью ChatGPT2.
3. Создайте черно-белую маску и с помощью sam3 или в любом другом месте для лица.
4. Напишите промпт с кратким описанием действий персонажа и его эмоций.
5. Настройте ноду кропа. Выберите соотношение сторон.
Основные: 3:4, 4:3, 16:9. Их мы используем чаще всего.
Так же важны параметры:
smooth_center,
smooth_zoom
для более мягкого кропа, чтобы не было артефактов.
Далее:
offset_x,
offset_y
для смещения относительно головы, чтоб давать лучший контекст сцены.
6. Генерация