тоже моушн

"Безусловная генерация человеческого изображения является важной задачей в области зрения и графики, которая позволяет использовать различные приложения в творческой индустрии." - это первая строчка представления StyleGAN Human.

Новый ГАН позволяет генерировать не только лица, но и людей с различной одеждой. В отличие от других схожих ганов, авторы выделяют основные преимущества - 40 тысяч изображений, еще и в разных позах, центрирования в телах и упор на положение лиц и глаз.

А как изюминка, мы с @too_motion сделали тест в старом колабе LSD, и да, с костылями, но работает!

Танцуем! 💃

Самураи-2 - Я никому не верю

DiscoDiffusion-warp

С лицами явно проблемы, в остальном вполне сносно.
Возможно, прикручивание стайлгана или модельки для лиц решит проблему.

Колаб

кому порцию отборной нейро психоделятины? просьба убрать от экранов детей, беременных женщин и впечатлительных личностей!
перед нами 17 минутное музыкальное видео, для создания которого помимо 3д софта были использованы zooming VQGAN+CLIP, EbSynth, нейро-ротоскопинг, фотограмметрия и возможно автоматическая анимация мимики по входящему звуку (но это не точно). за объем проделанной работы и количество использованных инструментов - авторам мое уважение. вот только результат спорный)

вопрос к читателям - какие вы знаете успешные коммерческие кейсы применения новомодных нейро-генеративных технологий? кроме создания цифрового искусства или музыкальных видео

держите новое видео от Сергея Пирогова. хорошая новость в том что Сергей наконец то завел свой канал, где будет делать обзоры последних новинок в нейро генерации контента, рекомендую подписаться! уверен что нас ждет много годного материала.

канал Нейросети и Блендер
дайджест по нейросетям на ютуб

этих прекрасных котов не существует

еще один интересный колаб-франкенштейн. если в Disco Diffusion генерация обычно начинается либо с шума либо с initial image, в Centipede Diffusion исходная картинка создается с помощью Latent Diffusion в низком разрешении и сразу в нескольких вариантах на выбор. далее лучшие результаты можно апскейлить и/или подать на анимацию в Disco Diffusion с turbo, 3D и прочими ништяками. отсюда более художественный и детализированный результат. enjoy

github
colab notebook

налетай, торопись!
свежий колаб для создания анимации методом диффузии. пока что только 2д (но вангую, что по наработанной схеме скоро добавят 3д и turbo режим). интересно что генерируемые формы консистентны от кадра к кадру, а вот текстура на них заметно играет. и еще в отличие от того же DD здесь доступен приличный список диффузионных моделей

твиттер автора
колаб

Классный параллакс от автора #discodiffusion turbo

🥑 DALL-E 2 позволяет не только генерировать новые изображение, но и создавать интерполяцию между реальными!

DALL-E 2 сочетает лучшее из двух миров:
▪️Zero-Shot способность генерации изображений практически во всех доменах
▪️И способность интерполяции между изображениями (между векторами их эмбедингов)

На gif'ке — DALL-E 2 вариации между двумя изображениями: логотипом OpenAI и картиной "Изучение цвета квадратов и кругов" Кандинского; путем интерполяции их CLIP эмбедингов, а затем декодирования с помощью диффузионной модели unСLIP (декодер части модели DALL-E 2).

Так что все прелести StyleGAN-интерполяции поставляются в DALL-E 2 "из коробки"

не хотел я постить про далли2 пока не увижу перспектив его применения в анимации или хотя бы работающих публичных сборок (а учитывая опыт первой версии вряд ли мы их увидим), но то что сейчас появляется в инфополе, это просто чума. опен аи без сомнения всех уделали

чтобы отвлечься от ужасных новостей о войне и ввиду не лучшего финансового положения, готов предложить персональные консультации по теме генерации картинок и анимаций, стайл трансферам, увеличению разрешения и фреймрейта видео с помощью нейросетевой магии - за разумные деньги.

если у тебя есть вопросы о том как сделать красивое в disco diffusion, pytti, zooming vqgan, real-esrgan, stylegan, lucid sonic dreams, как привязать анимацию к музыке или как допилить картинку до 8к и 60fps - пиши в комменты

и спасибо за репост!

p.s. для украинцев консультации бесплатные. знания нынче ценный ресурс, хоть так смогу вам помочь

и так как ничего нового я не генерю уже больше месяца, в честь др решил собрать в один пост ссылки на прошлые работы, некоторые из которых имеют незаслуженно мало просмотров)

мой первый нейро эксперимент
хитрый фрактал простыми средствами
АИГЕЛ Чудовище
кислый стайл трансфер
подборка стайл трансферов
несуществующие снимки земли под музыку
урок о работе с Lusid Sonic Dreams
нейротизер интерстеллар
SG3 + Lusic Sonic Dreams

сегодня этому каналу исполняется год. 1 апреля 2021 года мне надоело пересылать свои эксперименты в личку друзьям, так появился тоже моушн. год оказался насыщенным. я познакомился с множеством крутых людей, которые тоже погружены в нейро-арт и генеративный дизайн, оброс полезными связями. потом оказалось что я могу не только производить контент но и создавать простые и полезные инструменты на основе google colab и дарить другим людям возможность тоже прикоснуться к будущему. потом наступил интересный период когда мне удалось познакомиться с теми людьми на которых я равнялся и у которых учился и даже получить от них фидбек. преодолел планку в 1к подписчиков, огромное вам спасибо за это!

а потом началась война. и как будто сломалось что то внутри - зачем заниматься просветительской деятельностью, приближать светлое будущее, когда в настоящем на головы людей падают бомбы, гибнут дети и взрослые?
сейчас, уже будучи в безопасности за пределами РФ, я до сих пор не уверен что будет дальше с этим каналом

15 летний художник в Blender сделал эту прекрасную работу.

Мы так редко вспоминаем тот снимок с вояджера "pale blue dot"

случайно раскопал свои тесты для одного памятного проекта из 2013 года. по сути это реалтайм создание абстрактной анимации из заготовленных бумажных шаблонов на стеклянном столе подсвеченном снизу. при этом часть анимаций делалалсь всякими неожиданными методами, например крутящийся волчок становился живым зрачком. а полупрозрачная калька давала эффект размытия. а если еще инвертировать картинку и смешать хитро слои, можно создавать довольно сложные сцены

НЕТ ВОЙНЕ!

Автор DiscoDiffusionTurbo добавил сглаживание кадров.

Теперь ключевые кадры не выскакивают из ниоткуда, а постепенно проявляются, смешиваясь с предыдущими необработанными кадрами.

Обновленный Колаб

PyTTi теперь доступно всем, даром, и никто не уйдет обиженным!

Да, платный колаб для генерации психоделических видео с 3д-зумом стал публичным.
А точнее, его причесанная для публики версия, за которую стоит сказать спасибо @DigThatData

Подробнее
Колаб
За наводку спасибо @denissexy

Пока мы смотрим двухминутного доктора и восклицаем "где кнопка, брат".
Пока мы читаем, как гугл и фб учат телефоны отдирать фон от видео.
Пока все это существует в бумагах и телефонном качестве.
Vladislav Akhtyrskiy берет и делает это в Финальном качестве. С помощью Нюка и UE.
С помощью ИИ, который кеит, находит маркеры, удаляет маркеры, тречит и солвит камеру.
Автоматом. С любым окружением.
Скорость исполнения такого шота - 5 (пять) минут.
Самое главное - все это сохраняется в виде Нюк-скрипта.
То есть это не черный ящик, который отрыгнул видео-результат - это скрипт в Нюке, который получает этот результат из исходника, при этом предоставляет вам ВСЕ параметры, с помощью которых это было сделано.
Все, что делает ИИ - подбирает параметры для Нюка.
Можете править любой этап.
И все это разложено по папкам в порядке принятом у взрослых комперов.
А - Автоматизация.
Это единственное решение (на рынке которого нет), которое делает киношное качество.

Все ссылки ниже.

с праздником, пацаны)

в комментариях к посту про музыкальный StyleGAN3 спрашивали - можно ли такое провернуть со своими фотографиями? теперь можно! для этого надо сначала заморфить фотки в колабе frame interpolation, а затем полученное видео обработать под звук в новом колабе - audio reactive video

make love not war!

colab audio reactive video
colab sequence frame interpolation