Имеем в Vidu

Попробовал затестить для около-рабочих задач ещё одну китайскую нейронку для видео.

Кратко:
почти ничего не дают попробовать забесплатно. В не-реализме может конкурировать с Люмой, с реализмом выходит хуже Хайлуо и Ранвея.

Плюсы:
• прекрасно понимает промпт. Любит детальные описания из Клода/ГПТ, старается им следовать и попадать в атмосферу. Чувствуется, что добавили много описательных прилагательных при разметке;
• хорошая физика персов в анимации для не-реализма. И у них более разнообразные движения;
• есть подробный гайд с промптами тут (привет Хайлуо, снова китайский аналог ГуглДокс);
• неплохо справляется с крупным текстом, мелкий плывёт;
• три референсные картинки, из которых Vidu попытается собрать новое содержание по вашему промпту. Идея прикольная, но требует тщательного подбора рефов похожей стилистики и качественной картинки – иначе получится, как у меня в примере. Хочется вдумчиво тестить, но не дают – об этом ниже.

Минусы:
• бесплатно получится прогнать один шот в 720p или 20 быстрых шотов малого разрешения. Без апскейла быстрые шоты страшны, с апскейлом их будет всего 10. Такие условия или для опытных, с отработанным тестовым пайплайном, или для тех, кому не жаль 30$;
• движение камеры понимает хуже Хайлуо и Люмы. В детальных промптах с описанием атмосферы слушается ещё хуже;
• нельзя отключить prompt enhancer. Совсем. Даже за деньги;
• нельзя поставить только последний кадр – привет Клингу. Да что с ними всеми не так?!
• движение персов в кадре
сопровождается серьёзными артефактами на фоне. Часто по этой причине шот неюзабельный. Апскейл иногда решает проблему, но может пострадать персонаж. Видно в примерах.

Итог:
прикольно, сыро, дорого и недружелюбно.
Если допилят качество с анимацией большого формата, можно частично перейти сюда из Люмы.

Пробовать тут.