🌍🎥روش World Observer؛ حافظه فضایی برای دنیاهای ویدیویی

پژوهشگران KAIST روشی معرفی کرده‌اند که یکی از مشکلات مهم World Modelهای ویدیویی را هدف می‌گیرد: وقتی یک شیء از کادر خارج می‌شود، مدل ممکن است هنگام بازگشت آن را فراموش کند یا وضعیتش را تغییر دهد.

👁️ ایده World Observer این است که در کنار نمای اصلی یا Actor View، چند ناظر پانورامیک نیز صحنه را دنبال کنند. بنابراین حتی اگر شیء از دید Actor خارج شود، در نمای Observer همچنان به حرکت و تغییر ادامه می‌دهد.

🔄 وقتی دوباره وارد کادر می‌شود، مدل می‌تواند ظاهر، موقعیت و دینامیک آن را با سازگاری بیشتری بازیابی کند. جالب‌تر اینکه Observerها می‌توانند Prompt جداگانه داشته باشند تا حتی اتفاقات خارج از کادر نیز کنترل شوند.

🚗 آموزش این روش با ترکیبی از پانوراماهای واقعی و داده‌های مصنوعی CARLA انجام شده و معماری آن بر پایه Video-DiT است. کد پروژه نیز فعلاً در انتظار انتشار است.

http://cvlab-kaist.github.io/world-observer

@rss_ai_ir

#WorldObserver #WorldModel #KAIST #VideoAI #GenerativeAI #DiT #CARLA #هوش_مصنوعی