🖥 PhysGen — это новый метод генерации видео, который преобразует одно изображение и входное условие (например, силу или крутящий момент, приложенные к объекту) для создания реалистичных, физически правдоподобных и временно согласованных видеороликов. Основная идея заключается в интеграции физического моделирования с процессом генерации видео, что обеспечивает правдоподобную динамику объектов на изображении.

💡 Система PhysGen состоит из трех ключевых компонентов:
🌟 Модуль понимания изображения, фиксирующий геометрию, материалы и физические параметры сцены.
🌟 Модель динамики пространства изображения, использующая физику твердого тела для моделирования реалистичного поведения.
🌟 Модуль рендеринга и уточнения, который с помощью генеративной диффузии видео создаёт правдоподобные видеокадры с учётом физики движения.

🔥 Полученные видео реалистичны и точно контролируются, демонстрируя превосходные результаты по сравнению с существующими методами. PhysGen может применяться для создания анимаций и интерактивных видеороликов, а также моделирования динамики объектов. Подробности доступны на странице проекта

▪️Github

@machinelearning_interview