Чтобы понять идею, нужно сначала вспомнить классический метод Якоби из численных методов. Это итеративный способ решения систем линейных уравнений, где на каждой итерации все переменные обновляются одновременно, используя значения с предыдущей итерации.
# Наивная последовательная версия (метод Гаусса-Зейделя):
for i in range(n):
x[i] = (b[i] - sum(A[i,j] * x[j] for j != i)) / A[i,i]
# каждый x[i] сразу использует только что обновлённые x[0]...x[i-1]
# Метод Якоби — все переменные обновляются параллельно:
x_new = np.zeros(n)
for i in range(n): # можно распараллелить!
x_new[i] = (b[i] - sum(A[i,j] * x_old[j] for j != i)) / A[i,i]
x_old = x_new # только потом переключаемся на новые значения
Ключевое отличие: в методе Якоби каждая переменная при обновлении использует «старые» значения всех остальных переменных, поэтому все обновления можно делать параллельно.
Теперь к видеогенерации. В нормализующих потоках генерация — это обращение (инверсия) обученного преобразования. Грубо говоря, модель учится преобразовывать данные в шум, а при генерации нужно обратить этот процесс. Для сложных архитектур аналитической формулы обратного преобразования нет, и его приходится искать численно — решать нелинейную систему уравнений.
Наивный авторегрессивный подход генерирует кадры строго по одному: сначала полностью закончи кадр 1, потом используй его для генерации кадра 2, и так далее. Это медленно, потому что GPU простаивает — вычисления не параллелизуются по временно́й оси.
Video-aware Jacobi iteration переформулирует задачу так: давай предположим начальные значения для нескольких будущих кадров, а потом итеративно уточняем их все сразу.
«Video-aware» часть означает умную инициализацию: вместо случайного шума начальные приближения для кадров строятся с учётом временно́й структуры видео. Например, кадр 10 инициализируется на основе интерполяции или экстраполяции от соседних кадров. Хорошая инициализация означает меньше итераций до сходимости.
Почему это не ломает каузальность? Потому что после сходимости итераций результат математически эквивалентен последовательной генерации. Каузальная зависимость сохраняется в структуре уравнений, просто способ их решения стал параллельным.