شرکت Nvidia تحقیقات خودشو روی مدل‌های تبدیل متن به ویدئو منتشر کرد 🤯

مدل‌های انتشار پنهان ویدئویی (Video Latent Diffusion Models) با استفاده از مدل‌ انتشار (diffusion model) توی یک فضای پنهان فشرده (Compressed latent space) ویدئو‌هایی با وضوح بالا تولید می‌کنن که در عین حال از منابع محسباتی کمتری هم استفاده می‌کنن.


نحوه‌ی عملکرد این مدل به صورت زیر خلاصه میشه:
1. روی تموم دیتاست عکس‌ها LDM رو پیش آموزش میدیم.

2. با اضافه کردن لایه‌های زمانی مثل فریم فیلم، LDM تصویر رو به LDM ویدیویی تبدیل میکنیم.

3. برای ساخت مدل تولید ویدئو، LDM ویدیویی روی دنباله‌ای از ویدیو‌های کدگذاری شده fine-tune می‌کنیم.

4. به صورت موقت نمونه بردار‌های مدل انتشاری (diffusion model upsamplers) رو روی تولید ویدیو با کیفیت بالا تنظیم می‌کنیم.

5. برای اینکه بخوایم مدلمون عملکرد خیلی خوبی پیدا کنه، LDM ویدیویی رو روی ویدیو‌های واقعی 1024*512 اعتبار سنجی می‌کنیم.


لینک سایت
لینک مقاله

این پست رو حتما برای دوستای علاقه‌مندتون بفرستید😎👌


@RoboEpics