Derp Learning

Когда бахнул десятую кружку после выходных

Some people say video models don't understand physics.

Meanwhile, physics:

@derplearning

Как насчёт такого названия 😅

Чуть потестил Wan2 с большим контекстным окном

📕 Плюсы:
— Можно генерить столько кадров, сколько хочется

🐈‍⬛ Минусы:
— На сложных сценах видны склейки между переходами в контекстном окне
— Не добавить Лору, как можно в оригинальных пайплайнах WAN от ComfyUI

☺️ Держите котят-поваров, которые пекут в разных локациях булочки и тортики.

Разные пайплайны от Kijai по Wan: LINK

📕 В общем жду ControlNet под Wan и возможность использовать картинку как style reference при vid2vid и забираю WAN как основную модель для всех своих видео арт проектов.

gpt4.5 заехала для подписчиков курсора и это ну.... тяжело сформулировать однозначое отношение, но святую воду и икону я принес на всякий случай

Нейросети показали, как бы выглядел «Властелин колец», будь он семейным ситкомом из 80-х.

Теперь хочется полную версию, хотя бы ради Саурона с блинами
r/#aivideo

Актуалочка

@derplearning

Нативная поддержка Wan 2.1 а Комфи.

На прошло и суток, как сделали все в лучшем виде, включая image2video!

Пишут, что для самого жира 720р и 14B нужно 40 гиг врам.
И 15 гиг для 1.3B модели.

Все инструкции и примеры (с воркфлоу) тут:

https://blog.comfy.org/p/wan21-video-model-native-support

@cgevent

Тем временем твиттерские запилили осознанную змейку с помощью нового claude 3.7

В процессе игры она осознает себя и пытается выбраться из матрицы 😅

Source

@derplearning

Товарищей из LeRobot уже не остановить. Они запилили Untitled Goose Game в реале.

Появился гайд для LeKiwi (SO-ARM100 на платформе с колесиками)

Можно управлять удаленно, писать датасеты, тренить модельки.

tweet
LeKiwi assembly guide
LeRobot <> LeKiwi guide

@derplearning

Видео Нейродайджест:
2025 год видео моделей и думающих LLM

- Veo 2 — Гугловский монстр вырвался на волю. Доступен на Freepik (Premium+ юзерам за тонну токенов) и на fal.ai ($1.25 за 5-секундный видосик). Цена кусается, пока только txt2img, но качество — космос.

- Luma Ray 2 — Теперь с img-2-video и video-2-sfx (саунд). Не дотягивает до Veo 2 по картинке, зато цена норм и фичи удобные: анлим за $95 для тех, кому надо.

- Pika’s Pikadditions & Pikaswaps — Чуваки идут путём мемов и VFX. Pikadditions пихает объекты с фоток в видео, Pikaswaps меняет банки ягуара на колу. 8 бесплатных генераций в месяц, но глюки — часть веселья: лица корежит, физика выходит из чата.

- Adobe Firefly Video — Чистый датасет, симпатичная картинка. Идеально для монтажа: продлить, расширить (да, есть расширение), накинуть VFX. Идеальный add-on для Премьера.

- Topaz Starlight — Диффузионный реставратор видео на 6B+ параметров. Вытягивает даже самые убитые кассеты. 10 сек бесплатно, 5 мин за бабки (немалые). Ждём концерт Queen в 4K.


И ещё 1000 и 1 опенсорс-проект — Lumina Video, Magic 1-For-1 и прочие. Статус “юзабельно” всё ближе, а кому-то уже и так норм.

> Читать Топ-10 постов 2024 года.

#дайджест
@ai_newz

Олды тут? Elasto Mania в виде робота – смотрите какая цаца 🥰

Оригинал видео

К вопросу про оцифровку актеров.

На видео - использование Хуньянь и SkyReel для консистентных сцен с конкретным оцифрованным актером.

Из интересного:
Они сначала оцифровали актера (captured him volumetrically), а потом натренировали Хульяньскую Лору на коротких видео по 2 секунды. Как я понял, вольюметрик скан использовался именно для рендеринга таких коротких видеосов, где башка поворачивается из профиля в фас или на меньших углах(но это неточно, trained a LoRA model directly on video data, allowing us to generate sequences where a person remains consistent across shots)

50 видосов для тренировки в 100 эпох - заняли 48 часов на H100.

Пишут, что SkyReel - плохой, особенно в text2video, оттуда взяли мало шотов.

Подробности шаманство с latent upscale и другими гиковскими терминами вот тут.

Это, конечно, просто игра мышцами от kartel_ai, но оцифровка актеров мне видится примерно так.


@cgevent