فریمورک OmniHuman که توسط تیم تحقیقاتی ByteDance توسعه داده شده، یک سیستم پیشرفته برای تولید ویدیوهای انسانی هست که با استفاده از یک تصویر و سیگنال‌های حرکتی کار می‌کنه. این مدل با معرفی یک استراتژی آموزشی ترکیبی جدید، تونسته مشکل کمبود داده‌های باکیفیت رو که چالش اصلی روش‌های قبلی بوده حل کنه. نتیجه این پیشرفت، تولید ویدیوهای فوق‌العاده واقع‌گرایانه با استفاده از سیگنال‌های ضعیف، به‌ویژه صدا هست.

از ویژگی‌های منحصر به فرد این سیستم می‌تونیم به پشتیبانی از هر نوع نسبت تصویر اشاره کنیم. مهم نیست تصویر ورودی پرتره باشه، نیم‌تنه یا تمام‌قد - سیستم می‌تونه با همه این‌ها کار کنه و نتایج با کیفیتی تولید کنه. این قابلیت باعث می‌شه OmniHuman برای طیف گسترده‌ای از کاربردها مناسب باشه و محدودیت‌های معمول در سیستم‌های مشابه رو نداشته باشه.

در زمینه تولید ویدیوهای خوانندگی، این سیستم قابلیت‌های چشمگیری داره. می‌تونه با سبک‌های مختلف موسیقی کار کنه و حتی آهنگ‌های با زیر و بم زیاد رو هم پشتیبانی کنه. همچنین در تولید ویدیوهای سخنرانی، OmniHuman تونسته مشکل حرکات دست رو که چالش بزرگی برای سیستم‌های موجود بوده، به خوبی حل کنه و حرکات طبیعی و واقع‌گرایانه‌ای تولید کنه.

یکی از نکات جالب توجه در مورد OmniHuman، تنوع ورودی‌های قابل پذیرش اون هست. این سیستم نه تنها با تصاویر معمولی انسان‌ها کار می‌کنه، بلکه می‌تونه با تصاویر کارتونی، اشیاء مصنوعی و حتی حیوانات هم کار کنه. در هر مورد، سیستم می‌تونه ویژگی‌های حرکتی متناسب با سبک اون تصویر رو حفظ کنه و انیمیشن‌های متناسبی تولید کنه.

نکته مهمی که باید در نظر داشت اینه که برای تولید اکثر ویدیوها، فقط به یک تصویر و یک فایل صوتی نیاز هست.

نسخه کامل وایت پیپر این فریمورک رو میتونید از اینجا مشاهده کنید.

@aipulse24