Поигрался с Google Veo 2: лучшая, но далеко неидеальная модель для генерации видео

На прошлой неделе Google открыли доступ по API и начали постепенно раскатывать в AI Studio доступ к модели. Мне повезло попасть в волну раскатки на этой неделе, несколько дней игрался с моделькой, пробовал разное, чтобы понять, в чем она хороша, а в чем неочень. К посту прикрепляю примеры (как плохие, так и хорошие)

В целом, как и ожидалось, модель стала лучшей в своей категории. На лидербордах она регулярно делала конкурентов с отрывом. Генерация видео - одно из самых прикольных и, на мой взгляд, обделенных вниманием направлений. Понятное дело, что AI-видео не всем нужны, но кейсов его применения достаточно много.

Из того, что мне приходит в голову:
- коммерческая анимация
- презентации
- демо продуктов
- моделирование
и многое другое…

Итак, в чем хороша VEO?
Анимация: то, с чем модель справляется лучше всего. Всякие мультики, анимирование существующих картинок - прямо делает очень приятно. Есть некоторые артефакты, но уровень достаточно крутой!
Пейзажи: хорошо передает природные кадры, видео из гор мне прямо напомнило Армению.
Крупные планы: видимо, модель тренировали довольно сильно на видео с крупными планами. Объекты и люди у нее получаются прекрасно.

Где модель страдает:
Физика: обратите внимание на примерах на движение ног, воды, и то, как идет стабилизация видео. Выглядит все это неестественно.
Байас на цвет кожи: гугл снова наступили на те же грабли, когда Gemini создавал чернокожего Наполеона. Специально не указывал в промпте цвет кожи. Когда генерировал видео с девушкой, белую девушку удалось получить только с 4 раза. Все остальные были чернокожие
Динамичные сцены: если у вас много движения и деталей модель вообще плывет (см видео с терминатором и людьми на концерте)

Однако, не смотря на недостатки, данная модель все равно лучше конкурентов + очень по-умному распределили нагрузку, видео генерятся не одновременно, а в порядке некоторой очереди, причем очередей несколько. поэтому все проходит довольно быстро. В AI Studio в день дают ограниченное число генераций и видео 8 секунд генерируется примерно за 30 секунд.

👉🏻 Накидайте 20 реакций на пост, и расскажу, как я составляю промпты для генерации видео и картинок