World Observer

Проблема видеомиров — объект при возврате теряется, замирает или превращается в «импостора». Решение — разделить наблюдение и действие

Метод от KAIST для видеомиров: когда объект уходит из кадра «актера», панорамные обсерверы продолжают за ним следить, и при возврате объект сохраняет состояние и динамику.

• Актер-вид генерируется вместе с панорамными обсерверами (наблюдателями)
• Объекты, ушедшие из кадра, продолжают эволюционировать в обсервере
• Обсерверы ставятся где хочешь — не привязаны к актёру
• Несколько обсерверов для полного покрытия сцены
• Раздельный промпт у обсервера — текст рулит событиями за кадром
• При возврате объекта восстанавливается его детальный вид

• Обсервер рендерится в гибком разрешении и с низкими требованиями
• Обучение на реальных панорамах + синтетика CARLA
• Работает на видео-DiT в одной токен-последовательности

Код ждем

#world #research