Огонь! LTX SDR to HDR Lora от Lightricks
На входе любое видео - на выходе HDR
Поддержка ACES.
Забираем тут:
https://huggingface.co/Lightricks/LTX-2.3-22b-IC-LoRA-HDR
Есть поддержка в Комфи и по API (video2video)
На этом в принципе все.
Дальше для тех, кто умеет читать больше одного абзаца.
Я так понимаю, что все это основано на работе от 13 апреля:
HDR Video Generation via Latent Alignment with Logarithmic Encoding
https://arxiv.org/html/2604.11788v1
Вот почему это важно: большинство видеомоделей GenAI выдают 8-битный sRGB. Это подходит для социальных сетей, но это катастрофа для профессионального кинопроизводства. 8 бит дают 256 значений на цветовой канал. Кино и визуальные эффекты требуют тысяч значений для обработки изменений экспозиции, цветокоррекции и композитинга без полос(бендинг) или потери данных. Это разница между фотографией, сделанной на смартфон, и видеоматериалом кинематографического качества. LumiVid от LTX решает эту проблему - и вот что делает её интересной: модель никогда не обучалась явно на HDR-материале.
Ключевая идея: логарифмическое кодирование LogC3, которое уже является стандартом во многих кинематографических конвейерах (например, ARRI Alexa), отображает HDR-изображения в распределение, которое естественным образом совпадает с латентным пространством предварительно обученных моделей видеодиффузии. Вместо переобучения с нуля или создания нового кодировщика, они использовали облегченную тренировку LoRA, затронув менее 1% параметров. Обучение проводилось в течение 10 000 шагов на примерно 300 клипах.
Всего.
Одна видеокарта.
Около 8 часов.
Выходной файл — float16 EXR — scene-linear, готовый для цветокоррекции и повторной экспозиции в постпродакшене.
Что также заслуживает удивления: временная согласованность. Все кадры генерируются совместно диффузионной базой, поэтому отсутствует мерцание на кадре, которое мешает другим подходам преобразования SDR в HDR. Модель превзошла специализированные базовые модели HDR на +3,7 дБ на нераспространенных видеоматериалах ARRI.
В общем огонь.
@cgevent
Post #15501
9.17K
- 🔥 67
- 👍 14
- ❤ 7
- 😱 2
- 👎 1
- 😁 1
- 🙏 1