LongLive-2.0 — 5B-модель генерирует минутное видео в 720p в реальном времени

Исследователи из NVIDIA опубликовали LongLive-2.0 — инфраструктуру для обучения и запуска моделей генерации длинных видео с использованием 4-битного квантования NVFP4. NVFP4 — собственный формат NVIDIA, нативно поддерживаемый на GPU архитектуры Blackwell (GB200), так что полное ускорение доступно только на этом железе. В исследовании сравнивается квантование BF16 и NVFP4. BF16 хранит каждое число в 16 битах, NVFP4 сжимает их до 4 бит, поэтому модель занимает меньше памяти и быстрее считает. Теоретически это должно снижать качество генерации, но авторы показывают, что на практике результаты почти не отличаются от BF16: 85.06 против 84.51 балла на VBench.

Wan2.2-TI2V-5B, дообученная с помощью LongLive-2.0, генерирует 720p-видео со скоростью 45.7 FPS. Предыдущие методы выдавали 20-25 FPS при разрешении 480p. Обучение ускорилось в 2.15 раза, инференс — в 1.84 раза, потребление видеопамяти упало с 35.4 до 19.4 ГБ по сравнению с BF16-версией. На бенчмарке VBench-Long модель заняла первое место по согласованности персонажей и фона на 60-секундных видео.

Три ключевых компонента делают это возможным. Balanced SP — каждый GPU обрабатывает свой временной фрагмент видео, балансируя нагрузку и убирая дублирование VAE-энкодинга. Это позволяет обучать модель на 64-секундных видео без выхода за пределы памяти. KV-кэш квантуется в NVFP4 прямо во время генерации, сжимаясь в 3.6 раза. Асинхронное декодирование запускает VAE на отдельном GPU параллельно с основной моделью, так что декодирование не замедляет общую генерацию.

Код, веса и датасеты доступны на GitHub и Hugging Face.

#Stateoftheart