тоже моушн

Сейчас техника дорисовки ( matte painting ) или изменения пространства в кино очень обширна. Сложнейшие симуляции, реалистичная графика и отслеживание движения камеры, позволяют на postproduction этапе создавать точнейшую иллюзию, того что мы видим.

Но так было не всегда. Когда не было компьютеров киношники обходились различными трюками. При статичных кадрах буквально перед камерой ставили стекло на котором дорисовывали в реалистичной манере то. чего не было в кадре. Так рождались первые постапокалиптические и фантастические миры.

Когда Youtube выдал мне подборку Matte painting из старых фильмов.
Меня осенило! Генеративная заливка нового фотошопа, идеальный инструмент для того, чтобы создавать целые куски локаций. Итоги эксперимента вы можете увидеть выше!

Михаил, автор канала NeuroAE пилит отличный плагин, который позволяет лихо управлять генерацией в Stable Diffusion прямо из афтера - даже при отсутствии мощного железа! маст хэв для уверенных пользователей афтера

а уроки и гайды о том как пользоватья своим детищем Михаил постит в ютубе

скачать плагин - в канале NeuroAE
гайды и уроки на ютуб

на днях еще кое что про связку AE и стейбла будет, не отключайтесь

@тоже_моушн

на полях консистентной стилизации прибыло!

Rerender a video теперь можно запустить в колабе. очень рекомендую подписаться в твиттере на camenduru - автора блокнота - он настоящий спринтер и быстрее всех пилит демки для самых свежих алгоритмов

colab notebook
и много красивых примеров на официальной страничке

upd. работает пока не очень (

@тоже_моушн

минутка флюидной красоты - целиком на нейронках

в этой завораживающей анимации органично соединились два важных для меня элемента:

лора, обученная на кислотных флюидных картинках. рад поделиться ей на civitai

собственный аналог дефорума созданный с помощью Stable Houdini. он позволяет использовать Automatic1111 как движок генерации а все команды отправлять из Houdini.
нодами очень удобно и наглядно удалось собрать мощный сетап - он идеально подходит для 2д флюидной анимации и не только - гифки в комментах

сетапом тоже буду рад поделиться. и ваши лайки и репосты мотивируют меня поскорее подготовить файл и стрим на ютуб - о том как им пользоваться. всем любовь!

LoRa AcidFluid
Stable Houdini

@тоже_моушн

ох каких нервов мне стоило получить эту простенькую анимацию!

такое нельзя сделать в дефоруме (без дописывания кода). можно в расширении для автоматика SD-CN-Animation, но там минимум контроля. поэтому я освоил и обуздал Stable Houdini - набор Гудини ассетов от Станислава, автора канала Dreams and Robots

не вижу смысла использовать Stable Houdini для простой генерации, это лишние танцы с бубнами. но имеет смысл подключать гудини когда нужно соорудить то чего не умеет автоматик по умолчанию

и на моей памяти это первый случай когда очень грамотное совмещение двух инструментов дает такой прирост возможностей. их границы вообще сложно представить

а для создания этой анимации я в цикле с обратной связью (фидбек) изгибаю картинку, а затем прогоняю через img2img и так много раз по кругу

@тоже_моушн

должен признаться, после релиза generative fill для фотошопа я мягко говоря приуныл потому что как будто это конец гонки - нет смысла соревноваться с таким хорошим продуктом, тем более без танцев с бубнами вокруг автоматика. нажал и готово.

но слава опенсорсу - теперь благодаря контролнету можно делать инпейнт не хуже чем в фш а может даже и лучше!

на портретах выше я оставил только лицо, окружение дорисовано без промптов на универсальных настройках разными моделями. нейросеть упорно настаивает что мне подойдет прическа маллет в стиле 80х - хорошо, я подумаю

и еще примеры инпейнтинга положу в комменты

гайд о том как делать инпейнт как боженька

@тоже_моушн

и наконец nerfstudio - самая продвинутая и хорошо продуманная среда для обучения, просмотра и рендера нерфов.

взрослый понятный интерфейс, связка с блендером, возможность запускать задачи через командную строку - настоящий рай для нейро-гика

мега-фича:
нерф можно выгнать как облако точек или меш, импортировать в блендер, затем сделать анимацию камеры, экспортнуть в формате json обратно в нерф и отрендерить нерф-анимацию (как в прикрепленной gif)!
в комменты положу пример - использовал телефон как виртуальную камеру, движение которой потом прицепил к нерфу

плюсы:
хорошо задокументированы все режимы и настройки софта,
аккуратный результат,
помимо встроенного относительно неплохого nerfacto позволяет обучать нерфы на самых разных алгоритмах, в том числе instant-ngp,
возможность запуска операций через командную строку

минусы:
медленное обучение,
неидеальное качество,
нужно кодить чтобы получить эффекты типа DOF

и напоследок просто мысль: отчетливая ассоциация с ранними фотографиями - когда людям приходилось сидеть в кадре неподвижно по несколько минут. в моем случае сын дрыгался, поэтому в нерфе он размазался, в отличие от четкого ковра

nerfstudio github
nerfstudio docs
видео о том как установить и запускать
видео о хитрых пайплайнах и интеграции с блендером

@тоже_моушн

бытовой нейро-натюрморт в неоновых тонах

instant-ngp - самый быстрый нерф с возможностью запуска на популярных современных карточках, начиная с 10xx серии. чтобы запустить - качаем архив с гитхаба, минимум танцев с бубнами.
интерфейс не самый дружелюбный но разобраться можно быстро.

плюсы:
быстрый, красивый результат,
ништяки - визуальные эффекты, например depth of field,
есть кнопка отправки в VR (не пробовал)

минусы:
качество немного хуже чем у Luma AI,
интерфейс не очень подходит для создания сложных анимаций камеры и не хватает встроенной возможности обмена информацией с 3д софтами типа блендера (пытаюсь придумать пайплайн)

страница проекта
гитхаб
подробный разбор установки и интерфейса от Турбинского
пара полезных скриптов - автоматизация создания датасета из картинок и видео

@тоже_моушн

c головой нырнул в нерфы, ближайшие посты будут о том как сделать свой нейронный слепок пространства

Lumalabs - вероятно самый популярный и раскрученный NeRF продукт. есть приложение Luma AI для ios, но также свой нерф можно сделать бесплатно у них на сайте. больше всего понравилось "переснимать" готовые нерфы в режиме AR - просто загружаешь нерф к себе в комнату и ходишь вокруг (пример в комментах).
на сайте есть свой условно удобный интерфейс для анимации камеры. есть опция импорта камеры в формате fbx.
и наверное главных хук Lumalabs - плагин для Unreal Engine: нерфы сделанные у них на сайте или в приложении можно экспортировать в специальный формат который затем встраивается в игровой движок, это мега круто!
из минусов - рендер видео сопровождается логотипом в углу кадра и есть лимиты на количество рендеров (30 в месяц)

Lumalabs.ai
нереально красивый клип целиком на нерфах
плагин для UE

@тоже_моушн

не так давно на канале был пост про BlockadeLabs, первый общедоступный сервис по генерации 360 панорам с помощью Stable Diffusion

а на днях создатели наконец то прикрутили к нему ControlNet. и теперь в режиме Scribble можно накидать примерный эскиз будущей панорамы

чтобы понять возможности применения - рекомендую прогуляться по страничке проекта в твиттере

а для тех кто недавно присоединился к каналу - вот два поста на эту тему:

первые попытки в BlockadeLabs
альтернативный воркфлоу для Автоматик1111

в обоих постах есть ссылки по которым можно покрутить генерации в 360

сделать свою панораму в BlockadeLabs

@тоже_моушн

РОБОТЫ НАС ЗАМЕНЯТ 🤖🎵

а поможет в этом Wonder Dynamics к которому я наконец то получил доступ!

для тех кто все пропустил - это такой сервис, который ВСЁ делает сам: трекинг, клинап, цветокор. на вход - видео с человеком, на выходе - вполне грамотно вкомпоженный в шот 3д персонаж, даже окружение и освещение неплохо подбирает. и минимум работы руками. правда выбор персонажей невелик, в основном роботы, но можно загрузить и своего

с идеями - кого можно заменить на робота - прошу в комменты. а для вдохновения рекомендую посетить страницу проекта в твиттере или полистать там ленту с тэгом #wonderdynamics

запись в вейтлист

@тоже_моушн

Вышел выпуск Редакции про ИИ

Спасибо журналистам Редакции за такое серьезное и тактичное отношение к теме ИИ, в выпуске есть и неироискусство, и текстовые нейросети, все темы, куда ИИ проник и продолжает проникать, а также мнение искусствоведов, психологов и других специалистов.

Рада оказаться в выпуске среди дорогих коллег и визионеров.

Смотрите выпуск, я не могу подобрать слова, как для меня важно представлять нейроискусство именно на этом ютуб-канале, сегодня для меня как день рождения.

тоже моушн pinned Deleted message

кому нужны все эти дефорумы, ген-2 и прочие text2video решения если отличный клип можно сделать просто на статичных картинках? смысл же не во внутрикадровом движении а в глубине замысла и харизме автора.

должен признаться, я смотрел клип "Маликов" раз 10 и не могу остановиться! что то он такое задевает внутри, что то глубинное и неясное - глаза горят и смех разливается. а все потому что это образец метаиронии и метамодерна с непредсказуемым финалом.

Олегу Суркову - автору видеоряда - мой респект!

Кирилл Экономов - "Маликов"

@тоже_моушн

каким то образом мимо меня пролетела инфа про отличное расширение для автоматика SD-CN-Animation. помимо весьма неплохого text2video (почти настоящего) умеет еще и стилизовать видео по текстовому запросу. я довольный как кот-космонавт!

github

за наводку спасибо Psy Eyes

@тоже_моушн

Короткое промо и демонстрация основных функций первого доступного скрипта для работы со Stable Diffusion под After Effects.

Основные функции
- txt2img с использованием controlnet (покадрово и анимация)
- interrogate
- Препроцессинг изображений (получаем canny и depth прям из Афтера!)
- скрипты для копирования промптов из файлов

Сам скрипт в описании канала.

Итак, свершилось. Я только что выложил мой набор инструментов для работы со Stable Diffusion из Гудини в открытый доступ. Для всех, даром, и пусть никто не уйдёт обиженным. Все, что нужно знать, в видео.

Нагенерируйте мне красоты!

https://www.youtube.com/watch?v=Un_b8cvzxcw

плагин для блендера Dream Textures мощно так обновился! он теперь поддерживает контролнет со всеми плюшками, а настройка генерации перекочевала в комфортный нодовый редактор. что это если не хорошая альтернатива автоматику?

p.s. это тот самый плагин который еще и генерацию текстур прямо на 3д объект умеет делать - супер буст для текстурирования не выходя из блендера

скачать плагин

@тоже_моушн

некоторые из вас знают что я веду курс по видео-нейронкам в Пражской медиашколе. сегодня наконец то собрали выставку работ выпускников первого потока, и там есть на что посмотреть! очень горжусь студентами и рад что многие дошли до финала и выразили себя в нейро творчестве. ребята, вы крутаны!

а если вы хотите также, сейчас идет набор на третий поток, который стартует в конце мая. и промокод TOZHE все еще работает

@тоже_моушн

жара! в дискорде runway наконец то заработал gen-2 - генерация видео по текстовому запросу!
мой промпт до сих пор висит в списке ожидания поэтому вот вам чужие астро-котики

@тоже_моушн