یه مدل جهان ویدیویی (Video World Model) میتونه یک کلیپ کاملاً باورپذیر تولید کنه، اما همچنان ممکنه فیزیک صحنه رو بهدرستی درک یا شبیهسازی نکنه، محققهای انویدیا بهتازگی Physis-Lang رو منتشر کردن؛ یه چارچوب متنباز و خودتکاملیابنده که استدلال فیزیکی رو به کپشنهای ویدیو اضافه میکنه.
این کپشنها توضیح میدن که چرا و چطور اتفاقات داخل یه صحنه رخ میدن. محقق ها گفتن ما از این کپشنها برای فاینتیون کردن مدلهای جهان استفاده میکنیم و همین استدلالهای فیزیکی رو هم موقع تولید ویدیو، به پرامپتها اضافه میکنیم.
فقط اضافه کردن استدلال فیزیکی به پرامپت باعث شد امتیاز مدل NVIDIA Cosmos 3 در بنچمارک PhyGenBench، بدون اینکه خود مدل دوباره آموزش داده بشه، 5.62 امتیاز بهتر بشه:
physis-intelligence.github.io/physis-lang-web
@Linuxor
Post #5515
2.12K