Whisk storyboard от Гугла

Я целый день гонял Виск на собственном датасете абстрактных и условно реалистичных генок из СД и МЖ.

Кратко:
очень сильно заточенный под реализм инструмент для создания картинок и последующей анимации. Первый из серии Гугловских генеративных нейронок для пиления контента – планируют видео, аудио и т.д.

Пробовать тут. Нужен vpn и вроде как учётная запись не в России, но это надо проверять самому.

Плюсы:
• пока бесплатно;

• простой и понятный интерфейс в стиле «кидай сюда, будет вот это». Приятный и не отвлекающий дизайн рабочей области;

• заточен под реализм, из-за этого довольно точно переносит лица/образы с фоток и умеет цепко их держать;

• очень быстро работает;

• промпт у каждой картинки подробный и легко меняется в том же окне, отсюда запускается и новая генерация с правками;

• Гугл скоро выпустит свой вариант img2vid, и добавит туда удобный перенос картинок из Виск-сториборда вместе с промптом. Получится цельный и удобный инструмент – при условии достойного качества гугловского AI-видео, конечно.

Минусы:
• анализ референсов с помощью текстового описания, img2txt. Путается и пишет дичь. Часто сбивается и отказывается использовать твои рефы. Особо ненавидит следующий пункт;

• ничего абстрактного и необычного. Любые объекты и субъекты в кадре будут подгоняться Виском под знакомую версию из реального мира. Уродливое граффити с лицом на стене он превратит в реального человека с обычной внешностью;

• рандомно переносит объекты из референсов стиля. Если хочешь использовать для рефа стиля плёночный кадр, и там будет человек, то есть вероятность, что он окажется на генке или поменяет пол персонажу из референса объекта. Отсюда вытекает следующий пункт;

• очень требователен к референсам. Для стабильной работы нужно подбирать для Виска свой датасет на стили, объекты, сцены. Редко, но бывали ситуации, когда один и тот же стиле-реф при повторной загрузке давал мне другой эффект.

Итог:
крутая и залипательная штука. Рабочий инструмент, если Гугл не забросит проект через полгода.
Если у вас уже есть датасет и вы знаете, что хотите получить, то у Виска получится вас удивить.