Хотел около месяца назад этот видос показать, но т.к. его использовали как демку, пришлось придержать. 🚬

Генерилось без использования Json, кста.
При работе с рефами очень легко перегрузить модель, что Json и делает.
От этого страдают движения и взаимодействия объектов (про перегруз рассказывал в одном из прошлых постов).

Представьте, что видео-модели (как и стандартные диффузионки для генерации картинок) при работе с референсами сначала описывают их, чтобы понять, что там вообще находится и что с этим делать дальше.
Что-то вроде Describe в Midjourney, только описание вам не показывают.
И смысл в том, что ваши токены из промпта могут либо поддерживать описание внутри модели, либо противоречить этому описанию.
Короче, либо ваши токены дружат с "внутренними", либо играют с ними в перетягивание каната.
Соответственно, чем правильнее вы опишете первый кадр, тем консистентнее будут результаты даже при смене некоторых элементов между генерациями.
Это работало с самых первых моделей Stable Diffusion и работает до сих пор, т.к. видео-модели - все еще диффузионки, просто латентные 🤨

Технически, конечно, работает это немного иначе и сложнее - референс кодируется в пространственно-временные латенты (скрытые признаки), после чего диффузионная модель работает уже в латентном пространстве.
На каждом шаге денойзер "сверяет" визуальные признаки с текстовыми токенами, и если они не противоречат друг другу, генки получаются более консистентные и управляемые.
Но сюда предлагаю пока не забуриваться. Технология интересная, а для тех, кто хочет прям совсем упарываться и разбираться - потом отдельный чат какой-нибудь запилю.

Данная интруха собрана из нескольких батчей с разными движениями и сменой первых кадров, но процесс это крайне дешевый и быстрый, когда основное описание подобрано правильно.

В комменты я закину самые первые генерации.
Там сразу видно, какой был референсный кадр - просто скриншот лица персонажа с баннера из гугла.
Плюс, на них очень показательна общая консистентность даже при смене сидов и токенов (пришлось с цензурой воевать: сначала сгенерил sci-fi пушки, а затем сделал их более похожими на настоящее оружие).

Мутный AI - Волшебных кнопок нет, есть только инструменты.