🤩 Можно ли срежиссировать AI-клип через 3D?

Сделал танцевальный клип через захват движения. Идея была перенести танец с видео на 3D-персонажа, размножить его и самому поставить массовую сцену.
🥸 Большой плюс: можно управлять расположением людей, ракурсами и движением камеры, а нейронке передать готовую постановку для генерации реалистичного видео.

💻 Как я всё собирал
1️⃣ Захват движения в Unreal Engine.
В моём эксперименте результат получился лучше, чем с SAM 3D Body от Meta. Использовал плагин MetaHuman Animator Markerless Motion Capture. Сам Unreal я не знаю, поэтому ChatGPT говорил, куда кликать. Спустя пару часов был готовый риг для работы над сценами.
Учтите, что для такой работы Unreal требователен к железу. Перед установкой стоит посмотреть требования.
Есть и альтернатива с бесплатными кредитами для теста: AIMoCap.

2️⃣ Постановка в Cinema 4D.
Размножил персонажа клонером и придумывал расположение танцоров и движение камеры. Это оказался самый долгий этап, потому что тут как раз нужно собрать всесь клип в 3D. Экспортировал шесть сцен по 5–10 секунд.

3️⃣ Внешний вид в Seedream 5 Pro.
Из 3D-сцен сохранял кадры начала, середины и конца. По ним готовил изображения. Выбрал градиентный фон, дым, очки и блестящую одежду. Не стал усложнять оформление: хотел проверить, как видеомодель справится с такими сценами.

4️⃣ Генерация в MiniMax H3.
Отправил изображения вместе с 3D-видео. Видео задавало танец и движение камеры, а изображения задавали внешний вид персонажей и сцены. В конце ещё сделал апскейл в Topaz, чтобы улучшить текстуры.

⁉️В пайплайне два узких места.
Первое: захват движения. Мне не удалось добиться нужной точности. Возможно, с более простым движением вышло бы реалистичнее, но это ещё нужно проверить.
Второе: генерация видео. Тут я немного разочарован качеством движений. В моём результате нейросеть искажала лица и пальцы, упрощала движение волос и дыма. В общем, тут ещё нужно найти подход, чтобы получить вау-картинку.

🐸 Поэтому пока 6 из 10. Захват движения дал мне возможность самому срежиссировать массовый танец, но после генерации пришлось искать баланс в промптах и маскировать плохие детали.

#вайбкодинг #арт
Буст канала ❤️
@webdesignlab