Додумался, как создать непрерывность между генерациями по ключевым кадрамСуть проблемы:
Когда вы генерите видео по ключевым кадрам, то есть первый кадр + последний кадр, а потом берете последний кадр и ставите его как первый и делаете типо такие «безшовные» видео, даже если удалять миллисекунды между переходами, все равно видно эти бесячие минипаузы или скачок по свету, особенно сильно заметно, когда движение камеры не совпадает
Вообщем, раньше эту проблему можно было решать в старой видео модели Sora, в ее сториборде. То есть вы как бы загружаете 2 видео, которое собираетесь «сшивать» и там же удаляете по 2 секунды с конца у одного видео и с начала у другого видео и Sora плавно одно в другое как бы встраивало
Я подумал, раз умная контекстная видео модель Kling 01 умеет делать инпейнт и аутпейнт видео, а почему бы она не могла бы делать догенерацию целых частей контента
Короче, вы уже поняли к чему я веду, нужно просто 1-1,5 секунду вырезать (здесь в примерах это 4-5 секунда) и оставить черный экран в момент этого бесящего перехода и Kling 01 его плавно догенерит с учетом контекста происходящего
Промпт прост:
заполни недостающую черную область посреди видео, чтобы был плавный переход
Но есть нюанс:
— Генерация по ключевым кадрам, в том же Kling 2.6 дает разрешение на выходе 1076 × 1924, в редакторе я его делаю 1080 × 1920, когда вырезаю нужную секунду. Закидываю в Kling 01, а он мне возвращает 1068 × 1940
— Изначальные генерации по ключевым кадрам должны быть 5 секундные, то есть в Kling 01 вы загружаете максимальные 10 секунд (5+5 секунд с обрезкой между ними). Если пробовать сшивать 10+10 секунд в монтаже (то есть, то что получается из Kling 01), сильно важна консистентность деталей на этапе первый кадр + последний кадр и сложно четко состыковать их
— Изменятся контрастность
Метод рабочий. Идеально для 10 секундных отрезков последовательности. Можно экспериментировать с количеством секунд, которые вырезаете, если переход прям грубый, например по движению камеры, чтобы у Kling 01 было пространство для генерации плавного перехода. Можно в промпте дописывать, что должно происходить, если вдруг нейросети ваш контекст не понятен
С вас реакции, репосты, комментарии, а я дальше пошел думать над тем, как повышать точность и качество генераций
