Делюсь упрощенным способом - так, чтобы каждый смог.
1. Нам нужно создать свою лору (или аватар) в Клинге
Заходим в Клинг Омни, выбираем "создать аватар", загружаем туда 4 свои фотографии в с разных ракурсов. Одежда должна быть такая же, какую вы хотите получить на выходе.
2. Добавляем скриншот фильма
Иногда достаточно просто скриншота, иногда его надо дорабатывать в Нано Банана
Если мы хотим взаимодействовать с людьми, то лучше им тоже лоры создать. Себя туда не добавляем
3. Пишем промпт
Он выглядит примерно так:
@ilya (имя моего аватара) приходит в помещение с @image1 и начинает танцеватьТо есть просто описываете, что делает ваша лора на этом видео. Если вас не будет на стилшоте - вы будете намного более реалистичными. Также можно добавить вкусные вещи типа:
естественная тряская камеры, игра с фокусом, расфокус при близком подходе к камере
Всё это добавит естественности
4. Русская речь
Клинг её не понимает, но мы всё равно стараемся. Пишем в промпте: человек говорит по-русски - и даём цитату прямо на русском. В 30% случаев он сам переведёт ее на английский - это нам не нужно, просто будет брак.
В 70% он будет говорить на какой-то смеси польского и русского - это нам подходит
5. Озвучиваем сверху
Прямо наговариваем свою речь сверху. Если есть необходимость и кадр позволяет, добиваем липсинком на sync.so. Но это возможно не всегда
Еще из рекомендаций:
• 16:9 работает гораздо лучше, чем 9:16 в плане реализма.
• Сцены с большим количеством участников получаются плохо
• Можно использовать несколько фреймов, если нам нужно какое-то действие.
UPD: вот здесь ответил на дополнительные вопросы - https://t.me/kuznicon/1017.
Скоро будет полный видеоразбор