тоже моушн

1. для начала я сгенерировал зимний пейзаж в InvokeAi, он нравится мне визуально гораздо больше популярного Automatic1111, но местами уступает ему в плане функционала

2. затем импортировал картинку в Аутоматик и с помощью модели stable-diffusion-2-depth сгенерировал остальные 3 времени года. использовал именно эту модель потому что благодаря ей SD понимает глубину композиции и генерирует новую картинку с сохранением основных объектов в кадре. и пожалуй это заняло больше всего времени - подбор правильных промтов (гифка из 184 версий в комментариях)

3. далее с помощью скрипта depthmap создал карту глубины для зимнего пейзажа. этот скрипт можно использовать в паре с плагином для блендера, который позволяет импортировать сшитые картинку+depthmap в два клика как 3д объект. на ютубе есть примеры использования - раз, два

4. апскейл всех четырех пейзажей, импорт в блендер, настройка анимации камеры. а чтобы получился "таймлапс", сделал простенькую анимацию переходов между временами года, которую потом как текстуру использовал в блендере. рендер

InvokeAi
Automatic1111
модель stable-diffusion-2-depth
depthmap script
blender plugin, video1, video2

@тоже_моушн

happy neural year!

новый год уже совсем рядом.
но как будто в этот раз праздник - вообще не праздник.
хочу пожелать всем в новом году быть в безопасности. быть в таком месте, откуда не захочется уходить и откуда уходить не придется.

и если все не очень, пусть этот теплый нежный нейро-таймлапс хоть ненадолго подарит вам спокойствие и комфорт. а еще надежду что однажды станет лучше.

подробнее от том как он сделан - в следующем посте

с наступающим!

@тоже_моушн

почему приложение Lensa так хорошо зашло? да просто потому что мы любим себя рассматривать. а если отражение в зеркале не нравится, нейросети это легко поправят, сделают красиво, да еще и дорисуют неожиданный контекст. фото фильтры на максималках.
мой затянувшийся сеанс самолюбования вчера пошел по второму кругу - я прицепил модель Stable Diffusion дообученную на собственных фотках к новому колабу Katherine Crowson, который придуман чтобы делать плавную анимацию по текстовому запросу, этакое блуждание вокруг да около по латентному пространству. результат - бомбический. особенно женские образы))

colab notebook by Katherine Crowson

p.s. если у тебя есть своя моделька но не знаешь как приделать, пиши в комменты, выложу свою версию колаба

@тоже_моушн

если вы это читаете находясь в Стамбуле, можете сходить на выставку "Digital Serendipity". там есть видео программа, в которой внезапно мое имя оказалось в списке таких мега-крутанов что мой синдром самозванца просто радуется и танцует.

из тех кого я знаю - Denis Shiryaev (aka Sexy IT), главный по туторам Derrick Shultz, на секундочку сама Rivers Have Wings - Katherine Crowson, Roope Rainisto, ну и я Vsevolod Taran за компанию)

если соберетесь - поснимайте плиз видео, интересно что там и как

⚡️Колаб от Katherine Crowson, позволяет сделать интерполяцую быстрее и с большими количеством настроек в отличие от стандартной интерполяции в Deforum.

🤫Deforum теперь поддерживает v2 версию SD, если используете через Automatic1111, просто выбираете v2 при установке.

❤️Riffusion теперь доступен, как huggingface демо, там больше настроек, чем на сайте, можно поиграться и создать веселую песенку под Новый год себе или близким.

☺️У Neural.love появился анкроп, можно расширять готовые изображение в иные форматы.

юху! новый трюк в копилочку)

долго не давало покоя то что с новой моделькой sd учитывающей глубину картинки можно создавать более плавные морфинги (как в этом посте). оказалось все не так сложно. исходником может быть любая картинка, в ней вычисляется глубина. затем по этой карте глубины происходит генерация (depth-2-img). и чтобы получилась вот такая анимация нужно плавно менять параметр denoising strength от нуля (только исходная картинка) до единицы (только генерация). не сложно и результат кайфовый!

модель stable-diffusion-2-depth

@тоже_моушн

Сегодня я подготовил для вас что-то особенное! Генерация от KaliYuga из презентации второй версии Stable Diffusion произвела на меня сильное впечатление, и я решил попробовать создать что-то похожее. Для этого я использовал инструмент Clip-Interrogator-2, который помогает подобрать максимально подходящий текстовый запрос для входящей картинки. Не смотря на то, что сделать это идеально невозможно, с его помощью все же удалось добиться интересного сюрреалистичного стиля. А затем я решил попробовать сделать интерполяцию между удачными картинками (сидами) и... в результате получилось огромное количество красивых и странных, цепляющих взгляд сюрреалистичных женских портретов! Дамы, если вам нужна новая аватарка, заходите в комментарии – их там много)

Clip-Interrogator-2 на hf

@тоже_моушн

ну и к слову об Imagine 3D. где вы еще посмотрите на тверкающего железного человека? это я взял результат генерации text-to-3d и отправил на анимацию в mixamo.

если ты 3д моушн дизайнер - грех не записаться в вейтлист!

Imagine 3D
модель железного человека

@тоже_моушн

в последние дни часто вижу посты про нерфы (раз, два), но пока что главный минус этой технологии - высокие требования к GPU на котором это будет крутиться. можно и в колабе, но это для гиков.

при этом существует отличный проект LumaAi. и это нерфы для нормальных людей. проверял лично - можно отфотать объект или локацию на телефон (прокатит даже видео но качество хуже), загрузить материалы на сайт, подождать пока нерф приготовится. и далее - в простом и дружелюбном 3д редакторе с приличным набором опций можно как угодно анимировать камеру и получать крутые результаты которые могут быть слишком трудозатратны в классическом пайплайне. можно даже подгружать анимацию камеры из блендера (предварительно закинув туда грубую 3д версию нерфа). фокусы которые доступны с таким инструментом недавно показали коридор крю

кстати на сайте LumaAi можно встать в вейтлист Imagine 3D - чтоб по текстовому запросу генерить 3д объекты. качество примеров просто бомба

LumaAi
Imagine 3D
colab Nerfstudio

@тоже_моушн

и в догонку к прошлому посту. оказалось что sd v1.5 без всяких дообучений неплохо умеет в paper cut стиль. когда баловался с dreambooth, попросил стейбл сгенерировать бумажную версию меня. и пожалуй это был самый короткий промт ("a cut paper sculpture that looks like ...") - без всяких дополнений про окружение и свет, я получил несколько вполне похожих на меня бумажных портретов. в оригами тоже умеет но похожесть уже меньше из за меньшей детализации