тоже моушн

Stable Diffusion в VR + Touchdesigner

Реалтайм концепт не просто с VR, но ещё и интерполяцией по векторному пространству основываясь на Deforum Diffusion colab.

Выглядит безумно!

Ожидаем больше технической информации как сделать так самостоятельно.

Автор - один из dev в Deforum.
Спасибо за наводку @Denis

итак, задачка - запечатлеть себя в нейроанимации Stable Diffusion. для этого автор взял 20 своих фоточек, обучил Dreambooth, сохранил веса в ckpt файл, который затем использовал как модель в SD в режиме анимации

пост в твитторе
короткий гайд про конвертацию в ckpt
колаб Dreambooth

@тоже_моушн

🚀 IMAGEN VIDEO — Диффузии уже не остановить!

tl;dr
Помните Make-A-Video от MetaAI? Так вот — забудьте! Команда Google Brain только что создало лучшее Text-to-Video решение!

Если вкратце, то это имагеновый гомолог далишного Make-A-Video 🤖

Ну, а если чуть подробнее:

— Text Prompt подается в T5 энкодер
— Затем Base Model (5.6B ❤️) диффузит 16 кадров 40x24 pix в скромных 3 fps
— Затем темпоральный апсемплер TSR (1.7B) делает 32 кадра 40x24pix уже в 6 fps
— И пространственный апскейлер SSR-1 (1.4B) готовит предыдущие 32 кадра в разрешении 80x48 pix, и сразу второй SSR-2 (1.2B) делает 320x192
— Затем следуют еще два стейджа временного и один каскад пространственного суперреза и в итоге мы получаем 128 кадров в разрешении 1280x768 в 24fps

Основной фишкой такого подхода является Video U-Net — архитектура видео-юнет, пространственные операции которого выполняются независимо по кадрам с общими параметрами (батч х время, высота, ширина, каналы), тогда как временные операции работают уже по всему 5-ти мерному тензору (батч, время, высота, ширина, каналы).

Сделаю потом более подробный пост, а пока рекомендую всем посмотреть результаты на сайте проекта!

🚀 Imagen Video
📄 paper

🤖 м и ш и н л е р н и н г

"Pointcloud Occlusion Inpainting with Stable Diffusion"

Пока мамкины диффюзеры бесхитростно, но с восторгом склеивают кадры из Stable Diffusion с помощью дефорума, пацаны с опытом постпродакшена достают грубину, композят инпайнтингом и работают с камерой. Поглядите, что творит Дима Точилкин.

Основная идея алгоритма состоит в том, чтобы сохранить нетронутыми части изображения, известные по предыдущему кадру, и закрасить только те области изображения, которые отсутствуют. Мы можем определить, что известно, а чего не хватает, по карте глубины и преобразованию камеры.

Он в значительной степени зависит от качества карт глубины и использует предположение, что SD имеет неявные знания о геометрии сцены на изображении. Таким образом, он может правдоподобно закрашивать недостающие части без явного знания трехмерных сеток сцены.

Он интерполирует отсутствующую информацию, «деформируя» пространство, что хорошо для художественных или триповых видео, но не подходит для реалистичной анимации.

Если хотите узнать больше про "Pointcloud Occlusion Inpainting with Stable Diffusion" и анимацию, читайте тред в Твитторе - пример того, как AI Filmmaking приобретает черты технологии, а не только восторженных демок в телеграмме.

https://twitter.com/cut_pow/status/1576748595109593088

если попросить Stable Diffusion нарисовать какую то известную личность, с этим проблем не возникнет. а что если я хочу изобразить себя, свою бабушку или условного заказчика арта? для этого придумали Dreambooth, который по нескольким фотографиям может научить SD рисовать конкретного человека (кошку/собаку/etc), причем делает это очень неплохо. ребята из Corridor Crew недавно на этом знатно хайпанули

вот небольшой гайд на английском как это дело провернуть в колабе, причем говорят что обучение влезет даже в бесплатную версию

осталось прикрутить все это к генерации видео, надеюсь умельцы не заставят ждать

видео на ютуб
колаб

@тоже_моушн

хороший гайд на русском - как запустить Stable Diffusion внутри блендера (сложна)

похоже что не обойдется без продолжительных танцев с бубнами, после которых аддон Dream Textures позволит генерировать уникальные бесшовные текстуры. дальше их можно натягивать на свою геометрию. а если убрать галочку seamless то можно и арты генерить, правда разрешение упирается в возможности видео карты

а я все жду когда в открытый доступ выйдет плагин который забирает примитивную картинку из вьюпорта и делает красиво с помощью SD

видео на ютуб
аддон на гитхаб

@тоже_моушн

офигенный сайт на котором можно любую картинку превратить в простую анимацию с добавлением эффекта параллакса. функционал ограничен, есть несколько пресетов на выбор и минимум настроек, зато без регистрации и смс

за подгон спасибо Нейросети и Блендер

@тоже_моушн

AI × 3D

К сожалению, пока что генерация полноценных 3D моделей с помощью нейросетей получается плохо и медленно (последний раз, когда я пытался, сетка работала 2 часа и на выходе получилось качество 10 шакалов из 10)

Зато вот с ре-проекциями можно поработать. Я это уже делал: генерировал с помощью DALLE лица с макияжами, затем с помощью фейстрекинга Spark AR извлекал текстуру с лица и натягивал обратно на 3D-модель (или другое лицо).

А вот тут чуваки заморочились и использовали похожий подход для 3D-окружений: отрендерили сцену в виде черно-белого каркаса, сгенерили поверх него нейронкой текстуры и спроецировали обратно. Делается легко, получается красиво.

Процесс на видео с 0:40: https://www.youtube.com/watch?v=jZskAizpzRU

игрался с вариациями в далли - это когда ты без текстового запроса получаешь набор версий похожих на входящую картинку - и случайно сделал сет сладких няшных 3д аватарок. если хочешь себе такую, го в коменты, там можно забрать

@тоже_моушн

🌼 Встречайте нового конкурента DALLE-2 — нейросеть Make-A-Scene от Meta (запрещённая организация в РФ) создаёт изображения потрясающего качества. Ей нужно скормить не только текстовый запрос, но и набросок от руки — так нейронка лучше понимает, что вы хотите сгенерировать. Подход довольно эффективен и в 66% случаев точнее отображает желаемую идею. Результаты получаются очень хорошими, но пока нельзя поиграться, ждём кода. Взял отсюда.

#AI | Not Boring Tech

отличный пример использования инпейнтинга в DALL-E 2 для создания весьма креативной анимации! за наводку спасибо @denissexy

сорс

Больше 280 (!) нейронных сетей для работы с графикой на одном сайте

Мы сделали самую большую библиотеку нейронных сетей для работы с графикой. Она бесплатна и обновляется ежедневно - AI library by Phygital+

Внутри удобный поиск, описание, примеры и гуглколабы для ускорения работы креатора и повышения его воображения. Пишите обратную связь автору канала: что хотите добавить, какой функционал нужен.

А чтобы дать возможность всем освоить ИИ, скоро мы анонсируем серию открытых лекций и OpenCall для художников о том, как ИИ можно использовать в своих работах. Подписывайтесь)

А если хотите первыми получить доступ к нашему продукту, который соединил лучшие нейронные сети в одном удобном интерфейсе - добавляйтесь тут в waitlist

👾Мир иллюстраторов и аниматоров никогда не будет прежним

Скажем вместе: спасибо тебе, диффузия! Кстати делать анимации, используя DALL•E 2 в режиме инпэинтинга становится новым трендом.

Правда пока это не полноценная Text2Video диффузия, но благодаря инпэинтингу уже можно делать разные движения, зумы и повороты, постепенно генерируя новую и новую область.

Но даже эта возможность открывает DALL•E 2 двери в анимацию, и выгодно отличает ее от Imagen, который из коробки не имеет Image Inpainting файнтюна. Но архитектурных ограничений у Imagen нет, так что все возможно.

Посмотрим что ждет нас впереди. Полноценный Text2Video Diffusion уровня DALL•E 2 не за горами.

@mishin_learning

меня как моушн дизайнера печалит что в демо далли можно генерить только статику. но при этом далли отлично умеет в инпейнтинг - дорисовку недостающей части изображения. в этом эксперименте каждую следующую картинку я генерил на основе предыдущей, уменьшая и поворачивая ее. получается такой бесконечный зум аут, в процессе создания которого можно полностью менять наполнение кадра

@тоже моушн

давно хочу заняться цифровой одеждой но все никак не складывается. поэтому попросил DALL-E 2 (да, я тоже теперь счастливый пользователь) сгенерить несколько концептов на тему лент и перьев. ух какая красота

@тоже моушн