тоже моушн

принял участие в интересном проекте - создание инсталляции для международной биеннале - искусство будущего. в компании приятных ребят генерировали контент с помощью StyleGAN и VQGAN+CLIP. а техническим сетапом и программированием инсталляции занимались ребята из Inty. увидеть объект в живую можно в мультимедиа арт музее на остоженке

🎲 OpenAI создали и выложили конкурента DALL-E | GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models

Ни для кого не секрет, что диффузионные модели генерируют высококачественные синтетические изображения, особенно в сочетании с CLIP.

Ресерчеры начали прикручивать CLIP к Diffusion уже давно, но тут за дело взялись ребята из OpenAI!

Результат — просто топ! И для синтеза, и для изменения изображений!

Кроме топовой 3.5B модели, OpanAI выложили модель поменьше в открытый доступ!

Paper Code

🔮Colab GLIDE OpenAI от Мишин Лернинг

успей нарядить своего собакена или котейку в новогоднюю маску в нейроснапчате! новый прикольный алгоритм GANgealing. в комплекте несколько моделей - для людей, котов, собак, авто, лошадей. на примере котов - знает как выглядит "усредненный" кот и исходя из этого понимает как изменяется сетка его морды на видео. не реалтайм но работает быстро. и главное - легко сделать свою маску, нужно просто нарисовать ее поверх усредненной формы

запустить можно в колабе
а тут презентация

свершилось! теперь Lucid Sonic Dreams и StyleGAN3 дружат в этом колабе. все очень доступно и просто - подаешь на вход музыку, выбираешь модель для генерации и на выходе получаешь музыкальное видео.

а почему нет

ArcaneGAN для видео на huggingface! без регистрации и смс) отправляешь файл, жмешь submit, ждешь, забираешь

допилил колаб для стилизации видео в аниме. теперь обрабатывает весь кадр. из нового:
можно подключить гугл.диск (с ним загрузка и скачивание гораздо быстрее);
фреймрейт и звук оригинального видео сохранятся в стилизованном;
после стилизации добавил улучшение алгоритмом Real-ESRGAN.

нужно помнить что сеть обучена на лицах и если их в кадре не определит, получится абстракция, примеры можно увидеть тут

новый колаб
предыдущая версия
animegan2-pytorch
Real-ESRGAN

👘 NeuralWardrobe v.1.0 👔

Около месяца назад меня посещала мысль погенерировать СтайлГАНом какие-нибудь новые модные наряды, но буквально недавно я наткнулся на примеры создания образов с помощью ruDALL-E и был приятно удивлен. Качество потрясающее и генерируется относительно быстро. А с помощью встроенного переводчика вы можете на любом языке подсказывать этому НейроГардеробу то, какую именно одежду вы хотите на себе видеть.

P.S. На примере выше Илон в спортивном костюме, Девушка из Матрицы в деловом костюме и Кристиан в платье. Каждый из этих наборов (8 картинок) генерировался 30 минут.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralWardrobe.ipynb

однажды я уже рассказывал про этого сумасшедшего видеохудожника. Glenn Marshall не перестает удивлять. здесь vqgan+clip явно внутри pytti с добавлением optical flow

слегка аркейнизировался с помощью ArcaneGAN v0.3 от @derplearning вот в этом колабе. для пущей красивости еще прогнал результат через Real-ESRGAN. мне нравится что получается, хотя есть несколько деталей которые смущают - статичная текстура губ, странное наполнение рта если он открыт, вторые брови если сильно их поднимаешь и конечно мерцание окружения, которое видно только в анимации. но это все придирки, крутой результат!) в колаб кстати можно закинуть секвенцию картинок и получить что то подобное

на волне хайпа даже сериал пришлось начать смотреть, ниче такой, красивый, и местами интересно

нейроцензор от автора канала MLart получил обновление и теперь умеет замазывать лишнее с учетом time consistent (согласованность между кадрами). MTTR по текстовому запросу выделяет объект, а для его удаления можно выбрать алгоритм LaMa или FGVC. первый работает быстрее и оставляет странный призрачный эффект. второй удаляет гораздо лучше, но требует больше времени для просчета.
на видео сравнение прежнего и нового методов

колаб

🍿 Кому понравилась анимация в мультсериале Аркейн — теперь можно стилизовать любые фото и видео под мульт. На этой неделе @derplearning выкатил ArcaneGAN для превращения фото в стиль сериала, а сегодня на Reddit кто-то научил нейронку стилизовать также видео. Обрабатывается покадрово и получается вполне годно!

У этого есть и полезные применения: меньше затрат на стилизацию фильмов под мульты, а для пиара новинок можно выкатывать такие приложения для «аркейнизации» фото (берите на заметку, Netflix). Код проекта для стилизации видео пока не выпустили, ждём на GitHub. А на этом сайте можно перенести любое фото в Аркейн, работает почти мгновенно.

#Neural_network | Not Boring Tech

протестировал генерацию под музыку stylegan3 из этого колаба. до Lucid Sonic Dreams пока не дотягивает, но результат прикольный, очень гладкая анимация. надо теперь разобраться как накапливать смещение по латентному пространству как например в этом посте. кстати у меня есть подробный урок о создании анимации в колабе с помощью Lucid Sonic Dreams

✍️ NeuroCensor v.1.0 🚫

Версия 1.0, значит пока ничего серьезного. Хоть как-то работает, что уже хорошо, ведь все и всегда с чего-то простого начинается. В общем теперь можно выступать в роли цензора и удалять объекты, аля Черное зеркало, по текстовому описанию. Работает быстро, но есть вероятность, что памяти Колаба может не хватить на тяжелые видео, поэтому я поставил некоторые ограничения. Вместе с этим добавил возможность писать на любом языке (или сразу нескольких).

В видео продемонстрировано удаление «Grizzly bear» и «Мужчины в куртке».

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuroCensor.ipynb

крутую сетку которая умеет сегментировать объекты на видео по текстовому описанию теперь можно запустить в колабе

гитхаб
колаб
HuggingFace

один из ярких представителей pytti-арта собрал свои лучшие работы в почти двухчасовой ролик на ютубе. включай любимую музыку и улетай

ютуб
твиттер автора

автор цифрового контента, style transfer энтузиаст а так же постоянный участник Генклуба Сергей Пирогов @Dartmoor записал небольшой ознакомительный туториал - о том как в колабе с помощью "двухголового" vqgan+clip создавать красоту

ютуб
колаб

мои попытки перепридумать Ebsynth для колаба еще не скоро принесут плоды. но глубоко погрузившись в эту тему я узнал кое что интересное: есть небольшая группа исследователей из Чешского Технического Университета в Праге, которые плотно сосредоточились над разными аспектами переноса стиля и именно они выдают самые крышесносные проекты, которые стреляют в motion design инфополе последние годы. самые популярные - Ebsynth и Monstermash. помимо этого есть ряд очень перспективных исследований (например по этой ссылке). кстати они почти не используют ИИ, в основном все решается за счет очень сложной математики.

2д флюидная симуляция
демо перенос стиля на 3д объект
реалтайм перенос стиля на видео

пусть звучит неоправданно пафосно, но это именно те люди которые формируют визуальный облик будущего анимации. и чую, в ближайшие годы они еще удивят нас несколькими очень мощными проектами и готовыми инструментами