тоже моушн

появился новый способ контролировать генерацию в Stable Diffusion, называется ControlNet. доступны разные опции - можно нарисовать скетч от руки или найти эджи на исходной картинке и раскрасить с помощью промпта. можно сгенерировать арт по карте нормалей или - что выглядит наиболее интересным - генерировать персонажа учитывая положение костей скелета на исходной картинке. но это настолько свежая тема что не все пока хорошо работает, ждемс

протестить можно на hugging face
больше опций доступно в колабе
ControlNet на гитхаб

@тоже_моушн

RunWay ML выпустили Video-to-Video

RunWay ML - стартап, который можно описать как Голливуд для бедных (с AI и другими радостями машинного обучения) - выпустили нейросеть, которая может стилизовывать видео. И что круто, без всяких подергиваний и кислотного трипа.

Модель называется Gen-1 (про нее рассказывают начиная с 38 секунды видео), что намекает нам на то, что со временем качество будет только улучшаться. Пока модель в бета-тесте, подать заявку на ее использование можно тут.

🎥 Сайт продукта

наконец то вышел клип для которого я немного помог сделать нейронную обработку в StableWarp. клип прикольный, парни долго и упорно работали, жалко только что из моих тестов мало что пошло в финальный монтаж) на гифке как раз один из тестов

смотреть клип Аминь - Без Сна

@тоже_моушн

запасаемся чаем и плюшками и бегом в ютуб! урок о продвинутой анимации в колабе Deforum уже на канале! рассказываю про ключи, математику, привязку анимации к звуку и экспорте камеры в дефорум из блендера. приятного просмотра)

🖼️ Нейросети используют даже в анимации — и уже не энтузиасты, а гиганты кинопроизводства. В одном из первых подобных кейсов Netflix и японская Wit Studio сделали короткометражку «The Dog & The Boy» — в ней для создания фоновых изображений участвовала нейросеть. Посмотреть полностью можно тут.

Выглядит неплохо, но проект получил шквал критики. Netflix утверждает, что использовал нейронку «из-за нехватки рабочей силы», хотя в индустрии её вполне хватает. Мультипликаторы жалуются, что Netflix использует ИИ в целях экономии — вместо того, чтобы повысить выплаты художникам. Кожаных мешков уже заменяют нейронки, а мы даже и не заметили.

#AI | Not Boring Tech

Художница Евгения Шабунина сделала полностью нейрогенеративный клип «Мир спасет красота» для группы АИГЕЛ. Я немного расспросила Евгению о деталях процесса, она поделилась техническими деталями и любимыми кадрами.

Клип был сделан с помощью, кажется, всех существующих вариантов нейрообработки: warpfusion, Deforum и где-то img2img, где не подходили другие способы. Художница говорит, что самое сложное было придумать концепцию чтобы технически все ложилось, он очень много времени потратила на всякие тесты, потому что все-таки не все придуманное в голове пока можно реализовать с помощью нейросетей.

Открытием стало то, что все хорошо и удобно можно миксовать с 3D-графикой, с которой художница уже работала до этого, как полгода назад занялась нейросетевым искусством.

Для меня этот инструмент стал каким то спасением от творческого кризиса, поэтому все таки я думаю еще много проектов нам предстоит пройти вместе.

А в этом проекте получилось крутое путешествие по разным мирам. Мир все-таки спасет красота. И ИИ 🫀🦾

кажется у стайлгана есть все шансы вернуться в игру. по крайней мере создатели нового StyleGAN-T утверждают что он значительно превосходит предыдущие GAN и даже дистиллированные диффузионные модели в задаче генерации изображения из текста. а главное - с его помощью появляется возможность предельно плавной анимации, недоступной в Stable Diffusion. видео в презентации совсем крохотное и кода пока нет - подождем, выглядит это ну очень перспективно.
и как говорится - вот э тайм ту би элайф!

страница проекта
гитхаб (пока без кода)
paper

@тоже_моушн

ха, свежий ресурс для создания ИИ анимации! можно по текстовому запросу или по исходной картинке, и все бесплатно. результаты чем то похожи на то что делает колаб Кэтрин Кроусон. больше красивых генераций можно посмотреть в комментах

сайт для создания анимации
колаб Кэтрин Кроусон

@тоже_моушн

замутил в блендере крутецкий шейдер который делает хроматические аберрации в отражениях. файлом с материалом делюсь в комментах
и да, я теперь еще и цифровая швея)

@тоже_моушн

опробовал на себе новый img2img по текстовому запросу - InstructPix2Pix. прикольная штука с большим потенциалом. пишешь что хочешь поменять на картинке и она это делает (не всегда). примеры того что умеет и демо - по ссылкам ниже

демо на hf
подробнее о проекте
гитхаб

@тоже_моушн

еще один нейротаймлапс (похоже на то что недавно репостил). выглядит шикарно! и на первый взгляд - недосягаемая магия. однако на реддите пишут что не такая уж и магия:

It's basically just prompting a 'X year old boy/girl sitting on a couch', changing X by just one year until about 5, then skipping 5 years every 10 or so frames. Once you get to about age 20, replace boy/girl with man/woman.
This is in Deforum on Automatic1111.

видео на ютубе

вчерашний стрим на ютуб - без редактуры, со всеми косяками. смотреть лучше на скорости 1.5)
всем кто участвовал - спасибо! это был интересный опыт. учту ошибки и в следующий раз постараюсь сделать лучше.
а если у тебя есть идеи - о чем еще сделать урок или стрим, пиши в комменты

@тоже_моушн

Live stream finished (1 hour)

Live stream started

потихоньку начинаю, присоединяйтесь. если есть вопросы или комментарии - пишите в чат канала

Выкатили демку Image Mixer
Будем посмотреть, насколько она далека от MidJourney

Тыкать тут

@derplearning

а давайте сегодня вечером стрим устроим? погенерим, познакомимся, обсудим последние нейро-новости? начнем в 21 по мск

что же это за зверь такой - DeepFloyd?

вчера неожиданно попал на альфа тестирование новой нейронки IF. и первое что очень хотелось потрогать - генерацию текста на картинках. отличный повод сделать новые аватарки для канала)

не всегда выходит правильно с первого раза - но это и не удивительно. сетка совсем молодая, а привычные правила промтинга работающие для других генераторов тут приходится менять, подстраивать прямо на ходу.

с художественной точки зрения - есть потенциал, сеть неплохо умеет в некоторых художников, а иногда очень хорошо получается даже фотореализм

за возможность прикоснуться к прекрасному огромная благодарность Мишин Лернинг и shonenkov AI

@тоже_моушн