Модель поэтапно предсказывает следующий кадр или блок кадров, обеспечивая плавную и контролируемую генерацию. При этом FramePack позволяет создавать видео длительностью более 60 секунд.
Вместо хранения полного контекста он распределяет между кадрами разное число патч‑токенов и поддерживает общее количество токенов постоянным. Благодаря этому нагрузка остаётся O(1) относительно длины ролика — даже 13 B‑модель может генерировать тысячи кадров на обычной GPU.
Распределение «места» между кадрами задаётся расписанием (
FramePack Scheduling): линейным, экспоненциальным, равномерным или кастомным. Например, можно сделать первый кадр самым детальным для задач image‑to‑video или отдавать приоритет последним кадрам.Дополнительно применяется двусторонняя sampling‑схема — генерация кадров «вперёд‑назад»: модель чередует прямой и обратный проход по временной оси, что минимизирует накопление ошибок и сохраняет качество даже на полноценных минутных видео.
🔥Особенности:
🟢Заявленный минимальный объём GPU: всего 6 GB для генерации 1‑минутного видео @ 30 fps (1800 кадров) на 13 B‑модели — запускается даже на ноутбучных GPU.
.🟢Скорость генерации (RTX 4090):
~2.5 с/кадр без оптимизаций
~1.5 с/кадр с TeaCache
🟢Контекст фиксированной длины: накладные расходы (память и время) не растут при увеличении числа кадров — сложность остаётся
O(1) по длине видео. Эти метрики делают FramePack одним из самых практичных решений для генерации длинных видео даже на относительно слабом железе.
🔜Project Page：https://lllyasviel.github.io/frame_pack_gitpage/
🔜Paper：https://lllyasviel.github.io/frame_pack_gitpage/pack.pdf
🔜Code：https://github.com/lllyasviel/FramePack
@ai_machinelearning_big_data