Карнаускас из shotmotion

Пост по поводу того, что половина промтов и даже больше сидрим блочит.

Что я делаю, во первых пишу промты через клаудкод. Загрузил в него инструкции от Вуги.

Было еще, что блочил видеореференсы, тут я заблюрил свое лицо, и все заработало. Еще блочил разрушения, но тут к сожалению ничего не помогло (видео приложил, Горыныч отказался спалить деревню). На этот случай есть клингаи.

Пока больше проблем не было. Результат у сидрима канешн топ. Совершенно другое ощущение от работы. Есть чувство, что ты можешь как то управлять процессом, подсовывать референсы и направлять его в нужную тебе сторону

Есть закон Мерфи, когда 80% результата получается за 20% действий и т.д.

Вывел закон генерации видосов: первые генерации - самые нормальные, через 50 генераций лучше не будет...

Сжог вчера генераций 100 в попытках что-нибудь подходящее поймать под задачу. Но в 80% отматываю в самый низ и забираю одни из первых генераций. Либо меняю визуальный прием.

Нанабанана канешн удивляет в мелочах. Попросил персонажа в галерею поместить на фоне картины.

Банана определила автора картины, навзвание и год, и подписала. Мое почтение🙏

На выходе видео из старт - мидл - энд фрэймов, + добавил персонажа + реф по движению камеры 😳

Помните, писал про то, что сиданс прям братишка. И вот сча, пока пол часа ждал, что выдаст сиданс сделал видосов 50 в клинге и вео3, все около дела, но не то... не так как я предствлял.

Кучу промтов перебрал. И сиданс выдает то, что нужно с первого раза. Как так то?

сиденс + 3д камера

С трепетом ждал результатов, что же получится, получится ли хоть что-то. И получилось!

шик блеск🔥

хунянь, мое почтение 🙏 из одной картинки собрал

Новый удобный способ тестовый закадровый записать. Включаем запись экрана, просим чат гпт зачитать вслух текст. Готово

Пробовали тут заанимировать камеру с помощью перевода картинки в гаусианы, а потом подсунуть в нейронки

Результат неоднозначный, лошадь точно недовольна

Есть вариант - нагенерить больше ракурсов. Но первая попытка провалилась, ракурсы не особо получаются

ну магия же

Надо было скачать видео с вимео (что с ним ваще сделали, жесть).

Спросил у клаудкода, какие самые удобные варианты для скачивания. Он кинул ссылку на гитхаб. Можно что-то там установить и скачивать видео через командную строку.

Я говорю, это не дело, упакуй мне в удобный формат...

Вуаля, могу с сотни сайтов теперь качать видосы, програмка на компе готова

Лан, раз про творчество зашла речь.

Если проект уже начался, а насматриваться и искать рефы времени нет (классика😂), я использую эти сервисы:
shotdeck.com
frameset.app

И если не нашел, то иду сюда:
flim.ai
filmvibes.io
film-grab.com
shot.cafe

Что это? Поисковики по кадрам. Все красота уже снята, достаточно адаптировать под свой проект😊.

И на десерт Movie-Screencaps.com - сервис с раскадровками (как они себя называют). Для раскадровок там слишком подробно, но мне пару раз пригождалось, вытащить нужный кадр и на его основе сделать свой.

P.S. Что полезное забыл? Го ссылочки в комменты

Мои первые тесты seedance 2. Если коротко - ВАУ!

При релизе меня больше всего зацепило то, что он отлично может копировать сцены из сериалов. А если может из сериалов, значит можно и свои видео подгружать как реф?

И таки да!

Но для начала пару общих слов.

Если клинг это такой тип, которого надо задолбить и выпросить, делать по 50 генераций одного кадра и потом выбирать. То сиданс - это вообще другой типаж. Это такой братишка, который сразу делает нормально. Может где-то что-то не так. Но все равно не охота переделывать.

Это видимо после клинга фобия. Когда у тебя чуть более менее нормальный кадр появился и не хочется еще делать 10 попыток, чтобы стало чуточку лучше.

Но с сиданс другая история. Он сразу делает нормально.Хорошо держит детали. Слушает промт. Не размазывает пиксели по экрану, когда не знает, как сделать.

Теперь к фичам, которые мне удалось потестить.

Мне были интересны 2 направления: персонажная анимация и нейрорендер. И оба работают отлично.

Анимация персонажей топ. Промтом канечно сложно объяснять, начинает путать действия по порядку. Но когда подключаешь видео, все становится значительно лучше. (смотрите пример).

3д рендер, тоже отлично видно на видео, работает бомбически!

Если обобщить. То с сиденс становится понятно, как дальше можно будет работать с нейронками. Понимаешь будущие возможности, как будет дальше развиваться пайплайн работы. В ход пойдет все, чем можно объяснить идею: 3д, домашние студии, карандаши и листочки, в общем все тоже самое, что артдиры используют, когда пытаются объяснить, что хотят получить.

Переучиваюсь с синемы на блендер. До этого пару раз проходил курсы. И все успешно забывал.

Сейчас учусь сразу. удобно.

Завтра попробую голосом общаться и сразу делать.

Казалось бы бессмысленная история выше. Всего лишь пару часов мучений и все. Выводы сделаны. Но.

Самое интересное.

Я пошел в клодкод и решал задачу с помощью кода. Он мне написал программу, которая анализировала цвет на изображении. И могла обработать видео на основе изменений цвета.

Это просто взрыв головы. Слом парадигмы. Я на мир стал по другому смотреть.

Это так интересно, шо капец.

Уровень задач, которые я могу решать. Уровень подходов, которые появились. Я могу писать свой софт для всяких дел.

Темщик внутри меня ликует!

Это определенно новый этап взаимодействия с компьютером, с задачами, которые мы решаем.

Компьютер научился человеческому языку. Он может решить любой запрос (ну пока не любой, но чуть-чуть подождать и любой). Это ахуеть. Просто надо это попробовать, чтобы понять.

Еще когда я пересел на перплексити и простым человеческим языком общался с поиском. Это уже было вау.

А теперь можно не только инфу искать. Можно задачи решать. Ахуеть короче.

3/3

Не знаю, че за прикол, но если генерить в gemini напрямую, то он почему то не списывает кредиты. И качество значительно лучше вплане следования промта дак точно. Ощущение, что генерит в veo3.1, а не в фасте.

Блин, это капец

За 5 минут клодкод написал и задизайнил игру "крокодил". все кликабельно, бери играй!

История 2.

Задача, переодеть человека и затем продлить кадр.

Человека я переодел в том же клинге. Затем взял последний кадр, сделал анимацию на 5 секунд. И кадры воообще не клеятся.

Цвет максимально разный.

Ну думаю. Не я первый такой. Пошел в интернеты. Инфы нет. Пошел плагины юзать. Скачал давинчи, попробовал фичу из премьера. В общем ничего. не. помогает.

Пошел в клаудкод. Написал программу!

Все равно нихуя.

Ну короче, смотрю, цвета на сайте и в адобе отличаются. Так. Зацепка.

В общем поменял цветовое пространствоо с рег 709 на какое то другое. И уже значительно лучше. Небольшие расхождения в красном.

С этим уже можно работать. Докрутил примерно руками, чтоб было похоже и пошел спать.

Прикрепил решение своей непонятной проблемы в формате видео

2/3

Клинг постоянно искажает слои. И когда клеишь кадры, там просто какая то каша выходит.

При чем, если загружать картинку самому, то искажает в одну сторону. Если я беру кадр из видео прямо внутри клинга, то искажает по другому.

А когда дело доходит до монтажа, начинается свистопляска. Потому что за 3-4 этапа генерации зеленый превращается в желтый и т.п.

Прикрепил пример того, как скачет цвет.

А решений в интернете нет.

1/3