NVIDIA опубликовала веса модели и код Lyra 2.0 - системы, которая принимает на вход изображение, генерирует видео с управляемой траекторией камеры, а затем реконструирует его в 3D-гауссианы и полигональные меши.
Готовые ассеты можно напрямую импортировать в игровые движки и робототехнические симуляторы.
Система будет полезна для массовой генерации тренировочных 3D-сред для воплощенного ИИ.
Главная задача, которую решает фреймворк - сохранение согласованности сцены при длительном пролете камеры.
Lyra 2.0 хранит 3D-геометрию каждого кадра в отдельном кэше, при возврате извлекает релевантные исторические кадры по степени перекрытия видимости и устанавливает плотные геометрические соответствия через варпинг канонических координат.
Геометрия используется только для маршрутизации информации - какие кадры извлечь и как их сопоставить с текущим ракурсом. За синтез внешнего вида отвечает диффузионная модель.
Базовая модель построена на архитектуре Wan 2.1-14B с выходным разрешением 832×480.
Для 3D-реконструкции применяется дообученная версия Depth Anything v3 в feed-forward режиме, а поверхностные меши извлекаются через иерархический подход на основе OpenVDB.
На бенчмарках DL3DV и Tanks and Temples Lyra 2.0 превзошла все аналоги (GEN3C, CaM, SPMem, VMem, Yume-1.5 и HY-WorldPlay) практически по всем метрикам: FID, SSIM, LPIPS, субъективное качество и стилистическая согласованность.
Первая версия фреймворка, вышедшая в сентябре, поддерживала лишь генерацию на коротких дистанциях. Ближайший конкурент второй версии, Genie 3 от Google, обладает схожими возможностями, но остаётся закрытым.
🟡Страница проекта
🟡Arxiv
🟡Модель
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #3DWorlds #Lyra2 #NVIDIA