тоже моушн

о, еще один text2video на подходе, да к тому же с поддержкой ControlNet - Text2Video-Zero. а самое приятное - родом из Армении - привет Picsart!

авторы предлагают новый метод генерации видео из текста без использования большого объема видео-данных для обучения. а также редактирование входящего видео с помощью промпта

Text2Video-Zero на github
paper

@тоже_моушн

Близится мероприятие которое просто нельзя пропустить - Первая Генеративная Паверпоинт Найт! Несерьезные доклады на серьезных щщах)

Это наш способ посмеяться и отдохнуть головой, взглянуть на привычные вещи под другим углом. Будем рассказывать о том, что знаем лучше всего, без цензуры, делиться самыми дурацкими гипотезами, строить самые нереалистичные прогнозы!

Приходите слушать, а ещё лучше — участвовать. Для участия нужна презентация минимум на один слайд, юношеский задор и искрометное выступление на какую-нибудь гиковскую тему. Авторские мемы и теории заговора приветствуются!

От зрителей — хиханьки да хаханьки, уважение к мужеству и интеллектуальному труду докладчика.

Когда: 1 апреля в 20:00 мск, честно
Где: стрим в ютуб (подробности ближе к делу)
Хочешь участвовать? го в комменты

@тоже_моушн

Given Again

😳 Это работа сделанная Jake Oleson полностью в Luma AI использую Nerf рендер.

🔥 Потрясающая работа, полностью ее можно посмотреть тут.

📕 Сейчас Nerf является доступной 3d фотографией, которая сохраняет в памяти всю сцену в отличие от видео и фотографии, и вы можете в дальнейшем покружить в этом пространстве. И пока мы ожидаем реалтайм создание таких сцен для возможность менять камеру для движений Luma AI предлагает уже готовые предметы и сцены встраивать как AR объекты.

Тут на днях в соседнем канале предсказывали неделю всратых видео, я решил поучаствовать в этом празднике и скрафтил небольшой “видеоклип” из латентного пространства.

Кандидат для чартов “НейроТВ”, приходящему взамен MTV из мультивселенных.

Но если по сути, то на днях китайцы выкатили свою нейронку для генерации видео.

Пока это напоминает 3gp файлики в плохом разрешении с рекламой, передаваемые с мобилки на мобилку в середине нулевых. И всё это с рекламой shutterstock. Но если вспомнить прогресс генераций изображений за последние пару лет, то, с большой вероятностью, скоро “НейроТВ” действительно будет на потоке и приемлемого качества.

Можно потыкать в песочнице и в колабе

Восторг, как от swf флеш клипов в детстве.

Музыка: Shy FX – On The Run

А вот и text-2-video ответочка от Runway подъехала: GEN-2. Теперь можно генерить видео чисто промтом без опорного видео или изображения.

А ведь с момента запуска GEN-1 прошла неделя.... гонка AI просто дичайшая

Анонс
Дискорд Runway

астрологи объявили неделю всратых любительских нейро фильмов на основе Modelscope

и это только начало - похоже что в этом году text2video уже станет реальностью.
и смею предположить - помимо новых более качественных моделей (без вотермарков) нас еще ожидают открытия в промпт инжиниринге - как силой слова победить всратость движений и побороть эффект зловещей долины

видео "Восстание невесты Ктулху" в твиттере

@тоже_моушн

минутка профессионального испанского стыда - или - почему Gen-1 не подходит для моушн дизайна

честно, я приложил максимум усилий чтоб получить хоть сколько нибудь вменяемый результат. но похоже что удел Gen-1 на данный момент - красивые сюрные стилизации видео. абстракции - ок, но если необходимо сохранить детали картинки, Gen-1 точно мимо

в комменты положу то что ожидал увидеть и еще пару встратых тестов

@тоже_моушн

Тест Modelscope

📕 Генерация 256x256 формата и примерно секунды движения.

🔥 Используется только текст для генерации, не нужно референс видео, как например для Gen-1.

😠 Есть косяки в виде лого shutterstock, возможно использование негативных промптов поменяет процесс.
INFO—DEMO—WEIGHTS—COLAB(Запускать лучше на А100)



Напоминает момент, когда заопенсорсили 

Latent Diffusion

, тогда в первое время также было 256x256. Но зато какой потенциал, теперь есть и движения!

Промпт: Macro shot of объект by Victo Ngai, hd, 4k

ладно, уговорили - вот вам качественный взрослый мультфильм в стиле ретрофутуризм

пайплайн супер гибкий - генерация опорных кадров двумя слоями контролнета (без img2img!) и дальнейшее натягивание в эбсинте. за подробностями о процессе создания - добро пожаловать на бусти)

@тоже_моушн

пошаговый гайд по скрипту Multi Frame Rendering - уже на бусти

не пропусти, сегодня планирую еще закинуть урок по расширению Ebsynth Utility для Automatic1111

@тоже_моушн

в ближайшие дни вы скорее всего увидите кучу восторженных новостных постов про новую фичу от Stable Diffusion - Reimagine. или по простому - вариации (привет Далли-2)

я восторгов не разделяю: на картинках выше сравнение генерации Reimagine с результатом t2i style adapter в Controlnet

и там и там портрет девушки в цветах но controlnet куда лучше передает стиль и настроение

@тоже_моушн

Исследование: восприятие искусства

Чуть меньше года назад мы анонсировали начало исследования того, какие эмоции могут вызвать те или иные изображения. Исследование запустила Международная лаборатория экспериментальной и поведенческой экономики ВШЭ. Подробнее о проекте тут.

Сейчас авторы работы снова приглашают добровольцев поучаствовать в этом исследовании, для чего создали специального бота.

Приложение запускается в telegram
по ссылке 📲 https://t.me/galaimagebot
👉 @galaimagebot

🎯 онлайн формат, анонимность
⏰ 5-7 минут время прохождения
🎁 В качестве бонуса среди всех участников будет разыгран ценный приз

печалька что так мало людей захотели присоединиться. но зато в комменты подкинули хорошие идеи для будущих челенджей

а вот обещанные настройки:

masterpiece portrait of caucasian woman with (charcoal black:1.2 dark blue) tone skin and short (white hair:1.2), wearing a dark cotton shirt by charlie bowater, face glitter sparkles, intricate details, lise deharme, wlop, trending on artstationhd, <lora:epiNoiseoffset_v2:0.9>
Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 2836139366, Size: 768x768, Model hash: 9aba26abdf, Model: deliberate_v2

а хотите интерактив на канале?

идея не новая (например Громозека от АйМолодца) - берем то, что сложно нарисовать нейронками и пробуем нарисовать.
из ограничений - генерировать нужно в SD за одно нажатие кнопки generate, нельзя делать img2img и использовать ControlNet, можно разные модели, лоры, эмбеддинги

главное условие участия - весь воркфлоу должен быть открытым, то есть любой из участников может взять ваши настройки и получить ровно такой результат

для затравочки - попробуйте повторить мою картинку. вечером выложу настройки

@тоже_моушн

Друзья, мы с командой запустили собственный продукт по генерации изображений: https://insomnia.land/#/image. Сейчас он активно развивается, будем рады первым тестерам!
По регистрации начисляется 50 генераций и каждый день по 10 штук.

Кстати, если хотите поюзать ContolNet, могу открыть доступ. В нем можно стилизовать любой объект, как тут, с помощью простых текстовых запросов по типу “три персонажа из дисней/звездных войн”.

Если возникнут вопросы, пишите в сообщество Telegram: @insomnia_land или мне в ЛС @cyberoleg

эбсинт, контролнет, потанцуем?

нащупал и обуздал интересный пайплайн - в аутоматике (txt2img) смешал кадры танцующей девушки и стиль из картинки (t2i style adapter) а затем прогнал это через расширение ebsynth. создание этой анимации заняло 40 минут - много ручной работы. но результат может потягаться со StableWarp

го в комменты смотреть на промежуточные тесты

@тоже_моушн

еее! не прошло и года и я наконец то научился генерить в StableWarp приятный глазу результат. а секрет прост - нужно всего лишь ...

если без шуток - в StableWarp наконец то завезли Multi-ControlNet, и значит теперь можно выбрать несколько препроцессов для контроля и плюс указать любую модель SD 1.5 для генерации картинки. шик!

колаб по прежнему доступен у Дерп Лернинга на бусти - максимальный рекомендасьон!

@тоже_моушн

чикиряп!

в 22:00 по Еревану (через 2.5 часа)

СПОКОЙНЫЙ СТРИМ - обсуждаем нейро-новинки, болтаем, генерим

@тоже_моушн