Performance artist

Тестировал промпт на стилистику фильмов 80-х, дошёл до анимированных генерации Ленина в Лос Анжелесе.

Попутно обнаружил, что Lenin это очень сильный токен. Он легко забивает других персонажей в кадре, но сам в себя не превращается.
Например, если в одном кадре объединить Леннона и Ленина, то получаются персы, похожие на Лукашенко, у которых по головам рандомно гуляют кепки и лысины.

«Он еще раз взглянул на город и медленно произнес:
– Kapitalizm...»

#stablevideodiffusion #fooocus #test

В Dreamstudio выкатили модель StableDiffusion 1.6

Протестировал её на одинаковом промпте с DALL-E3. Получил ожидаемые результаты и анимировал их.

SD1.6 классно следует стилю, лучше конкурента работает с лицами – даже без негативного промпта. Еще лучше передает работу красками.

Далли от души наваливает деталей, но получить от него нужную стилистику невозможно без подключения GPT-4. Лица в композах часто хуже, чем у SD.

Всё бы хорошо, но весов SD1.6 в открытом доступе нет, когда появятся – непонятно. Дела у компании StabilityAI так себе, поэтому чего-то определенного они пока не говорят. А так моделька интересная, я бы пользовался.

#stablediffusion #sd16 #test #leiapix #video

LeiaPix обновился

Один из первых редакторов по карте глубины. Теперь за кредиты дает выгнать большое разрешение, до 720p – бесплатно. Для гифок с анимацией в соцсети этого более чем достаточно.

Интерфейс простой, разобраться можно за полчаса. Почему-то отказывается работать с сырыми генками из Далли, лечится пересохранением в любом редакторе.

Примеры с энергоэффективными лампочками.

#leiapix #video #test

Какая-то неделя AI-видео получается

https://pika.art/waitlist

PicaLabs выкатили возможность генерации на сайте в порядке очереди. На почту приходит талончик-пропуск к бесплатной генерации. Ты генеришь отведенное время, потом идешь за следующим. Как в поликлинике. Можете зарегаться с разных адресов, если не лень.

В проморолике по ссылке обещают чудеса. Можно зайти посмотреть только ради него.

Но тут может быть, как с Runway и GEN-1 этой весной – ты начинаешь решать свои прикладные задачи, и получается все не очень радужно. Будем пробовать.

#picalabs #video #waitlist

Еще тестов Stable Video Diffusion

С синематик панорамами Марса справляется прекрасно. Сложные и детальные джунгли тоже хороши, только под конец жмыхнуло листики на переднем плане.

А вот что меня удивило, так это удачная генерация с референсом из QRcode Monster. Посмотрите, как до последней секунды сохраняется читаемость Design Week в нижней части экрана.

#stablevideodiffusion #video #test

Stable Video Diffusion очень хорош

Получается в самом деле стабильное видео из картинки-референса. Качество 1024х576, запускается на БЕСПЛАТНОМ колабе, генерит 1 видео примерно за 8-10 минут. Умеет делать впечатляющие пролеты/наезды/проезды.

Из минусов:
• принимает на вход только картинку, сгенеренную в StableDiffusion.
Т.е. вам сначала придется сделать картинку в SDXL или взять ее из вашего архива, а потом уже кидать её как референс.

• направление впечатляющих пролетов/наездов выбирает самостоятельно, ориентируясь на ControlNet. В отличие от GEN-2, никаких настроек нет – но они точно появятся в дальнейшем.

Пока можно тестить и удивляться.

Пробовать тут:
https://colab.research.google.com/github/mkshing/notebooks/blob/main/stable_video_diffusion_img2vid.ipynb

#img2video #stablediffusionvideo #video