тоже моушн

по вот этому пайплайну сегодня тоже пройдемся. автор делает годные гайды и на ютубе кстати тоже уроки выкладывает. рекомендую

стрим - в 22:00 по Еревану. ссылку пришлю сюда ближе к началу

тема: ControlNet - как работают разные режимы, какие и для чего нужны, заодно покажу некоторые лайфхаки и приемы

а может завтра вечером стрим? поиграемся с ControlNet?

эту прекрасную кучку говна я посвящаю тем новым подписчикам, которые не понимают зачем попали на этот канал и пришли ставить пальцы вниз и писать глупые или токсичные комментарии.
я ценю ваше мнение, но прежде чем его писать подумайте - нужно ли его знать другим?

каждое ваше грубое высказывание или реакция какашки 💩 больно ранит мое нежное сердечко 💔 и уменьшает желание делиться новым и интересным

если вы здесь с добрыми намерениями и так же кайфуете от дикого темпа прогресса нейросетей - нам по пути 🤝, добро пожаловать!

если вы луддит 🚫 и токсик 💣 - поищите кнопку "покинуть канал" 🚪

peace!

нейронками в музыкальных клипах уже никого не удивить, но тут прям очень хорошо получилось. когда и съемка+монтаж на высшем уровне, и руки у нейро художника растут откуда надо - результат огонь! за подгон по классике спасибо Нейросети и Блендер)

смотреть клип целиком
инста riz_trayzz

@тоже_моушн

хроники ControlNet: новый эксперимент от Гленна Маршалла. подробностей он не открывает но похоже что это режим canny и batch обработка картинок - а значит ControlNet можно использовать для более качественной стилизации по сравнению с img2img

пост в твиттере

@тоже_моушн

С помощью молотка, молитв и двухметрового костыля я сделал API для ControlNet. Теперь можно работать с ним из Гудини, делать батч-процессинг и прочие прикольные вещи.

Погружение в глубины исходников Автоматика стоило мне пары лет жизни. По возможности избегайте этого.

взял за правило - вставать в вейтлисты всех перспективных эйай проектов, и вам советую)
сегодня наконец то получил доступ к Text to Skybox! давно искал что то подобное - генерация 360 панорам по всем правилам. шов еще слегка заметен, но это правится в ручном режиме за пару минут

покрутить мои тесты в 360 можно тут
по этой ссылке записываемся в вейтлист
твиттер проекта

upd: в комменты можете прислать свои промпты, попробую их сгенерить в панораму

@тоже_моушн

ControlNet хорош!

☺️ Позволяет не только делать более подробные позы и контролировать положение персонажа, но еще и в мемы можно, пальцев было много в генерациях?

😳 Теперь сетки могут генерить и ног больше и рук и даже голов! Кайф!

🐱 Это все работы toyxyz у него в твиттере еще много всего интересного про ControlNet, мне особенно нравятся связки с Блендером.

🧑‍🎓 Вот Automatic1111 addon и конечно ждем вскоре Блендер addon.

Уверен будет Open Pose для Блендера c возможность анимации, а некоторые уже перенесли normal генерации ControlNet в Блендер.

такс, ну это уже ни в какие ворота! скоро приделают официально и можно будет ручками настраивать позу персонажа в аутоматике. о времена!

пост в твиттере

в комменты загляни, там еще скелеты припрятаны)

@тоже_моушн

вау! получай еще один колаб для стилизации видео с помощью Instruct pix2pix. автор прикрутил к нему Эбсинт (!) для получения более гладкого, консистентного результата

твиттер автора
colab notebook IP2P Video w/ Coherence Guidance

за наводку спасибо Нейросети и Блендер

@тоже_моушн

воооо, как раз было интересно как будет вести себя генерация по позе в движении. конечно же психодел и мельтешение, даже при фиксированном сиде. но что то в этом есть. может у меня нейрозависимость и профдеформация но с каждым днем становится все привычнее наблюдать подобные нейро-артефакты

UPD. сходите по ссылке, там в комментах анимация без наложенного скелета

почему то обожаю фильм Наполеон Динамит. а тут в твиттере наткнулся на пост: чел с помощью Instruct pix2pix стилизовал танец Наполеона в стиль пластилиновой анимации. это конечно не Gen-1 но местами очень неплохо сработало

пост в твиттере
оригинальный танец на ютуб
github Instruct pix2pix
colab notebook Instruct Pix2Pix Video

@тоже_моушн

а ты уже встал в вейтлист Runway Gen-1? тут новый шедевр в твиттере. сверху исходное видео, снизу картинка источник стиля, по центру офигенный результат. очень нравится как черные клавиши превращаются в деревья

пост в твиттере

@тоже_моушн

лови Instruct Pix2Pix Video - новый колаб для стилизации видео по текстовому запросу в интерфейсе gradio от автора вчерашнего блокнота

колаб Pix2Pix Video
space на HF
github
twitter автора

@тоже_моушн