CGIT_Vines

Генераторы изображений не идеальны, даже последний — после вчерашнего анонса от OpenAI.

Пришлось опять оплатить $20 за подписку ради этого поста. Пайплайны сами себя не протестируют, хоть они ещё и не готовы, но нам нужно быть готовыми, когда всё уже будет продакшен-реди.

Создание модульных конструкторов — дело геморройное, а ускорить процесс очень хочется. Тут, конечно, нет никакого разговора о точности и метриках «по сетке», чтобы стыковалось хорошо, но для концептов — очень даже подойдёт. Я сделал это за 5 нот шагов, но в целом можно и быстрее. Хотелось посмотреть, как он работает со стилями. Оказалось — вполне неплохо, хоть тест и не полноценный.

По итогу мы имеем поассетную раскладочку, которую вы сами понимаете, в какой 3D-генератор можно засунуть и получить за один проход сразу несколько затекстуренных мешей. Только при таком подходе не забывайте, что выделенный генератором поликаунт распределяется равномерно между всеми частями. Так что если вам нужны более хайпольные меши — кидайте на генерацию по частям.

@CGIT_Vines

Я настойчиво продолжу вызывать у вас чувство эмпатии к роботам.
20 часов беспрерывной работы и даже железяка не выдерживает напряжения 😂

Кажется, ребята из CSM (Common Sense Machines) начинают понимать, как работает PBR.

Выкатили апдейт на свой генератор моделей и текстур, который на практике всё ещё далеко не дотягивает до верха рейтинга, где Hunyuan и Tripo.

Но зато текстурки теперь хоть как-то релайтнуты, и с ними можно продолжать работать в Painter.

Наткнулся на интересный проект: PiT. Суть: даём модельке на вход пару визуальных кусочков — например, прическу, крыло и лапу, — а она достраивает из этого полноценного персонажа или предмет. Без текста, без описаний, только визуальные фрагменты.

Вместо того чтобы объяснять словами, как ты это видишь, — просто показываешь, а модель понимает контекст и домысливает недостающее. Работает на улучшенном пространстве IP-Adapter+, а сверху можно накинуть LoRA, чтобы менять стили, фоны и сцену.
Примеры, подробности и демки тут.
Исходников пока нет, но скоро обещают выкатить

Обожаю Азимова, он поднимал вопросы, которые вдохновляли ученых, исследователей, режиссёров и целые поколения.

Из этой идеи, я так понимаю, получился роман, а потом и фильм «Двухсотлетний человек». А затем — и философские рассуждения майора Кусанаги на лодке после дайвинга в ночном мегаполисе. Там она неожиданно для себя принимает решение слиться с ИИ.

Я оставил английский звук, потому что так звучит атмосфернее. Ру перевод закину в комменты.

Вчера прочитал, что мульт Flow собрал $36 миллионов при затраченных $3.7!
В популярности, конечно же, сыграл аспект того, что мульт получил Оскара.

Но важно, что сама история и подача сработали за счет свежего подхода. При этом никто не говорил, что там крутые спецэффекты, графика, рендер или что-то подобное. Ребята сами признавались, что в Blender и создании мультов были новичками.

Все это дает новое дыхание независимой анимации. И тут мы разобрались, что инструменты не так уж и важны для успеха. Поэтому ИИ с его ускорением процесса производства — не помеха, но и не буст, но точно причина понижения порога входа. История и возможность экспериментировать — вот что будет решать.

Большинству в целом было без разницы, что анимация во Flow была странной, мягко говоря, или что шерсть выглядела неестественно, ну и много чего еще. Поэтому какие-то косяки AI, если правильно обернуть их в стиль и держать под надзором хорошего арт-директора, вообще не будут восприниматься как недостаток.

Так что будем ждать смелых и дерзких!

Все потому что на вайбе нужно быть!

Пощу осторожно, потому что я со своей паранойей уже никому не доверяю.

Чувак собрал GUI для общения с Gemini. На вход дает модель с готовой UV-разверткой и просит перерисовать текстуры. Давайте разбираться.

Так как нет абсолютно никаких подробностей — ни пайплайна, ни гита — имаджинируем.

Как Gemini видит входящую информацию? Если он видит развертку в 2D-виде, я уверен, что он ни черта не понимает, что к нему пришло и как с этим работать. 3D-представления или плоский кадр объекта более привычны для диффузионных моделей.

Вероятно, эта надстройка может делать снимки объекта с разных ракурсов и отдавать на регенерацию, как это сделано в Multiview Hunyuan 2. Дальше включаются алгоритмы генерации 3D-модели, и в финале с этой модели происходит репрожект на входящую модель с UV-разверткой.

Честно говоря, это тупой и бессмысленный метод, но ничего лучше я не придумал, поэтому склоняюсь к тому, что видео — возможно просто концепт.

Я уверен, что в канале есть люди с более системным мышлением, которые могут предложить варианты получше. Пишите в комменты ваши мысли.

А вот и анонс!
Сегодня в 19:15 по МСК делаем стрим с одним из наших менторов Сережей Мизинцевым.
Напомню, что говорить будем про Hardsurface в геймдеве и про то, как знания по смежным дисциплинам помогают в развитии художника. Залетайте, задавайте вопросы.

https://www.youtube.com/live/8eHEhvoSnpg?si=_ymzpUNobIaKY0x8

Kling тут выпустил новый эффект DizzyDizzy, или Microwave эффект, короче кручение на тернтейбле.
Удобно в теории, если надо достать дополнительные ракурсы, но есть нюанс.

Тестировал на своей любимой палатке, остальное в видео. Есть ощущение, что мне напиздели, понимаешь, напиздюнькали, наебали, сечёшь блять, мне наврали нахуй, мне сказали неправду.

Спалили мозги пацаненку!

Обработка видео и 3D моделей в Runway

Тестировала пайплайн обработки 3D видео с помощью Runway. В обработку обычных футажей решила не лезть, с ним мне более-менее все ясно, да и думаю многие достоинства и недостатки обработки фигур будут такими же. Пайплайн с классным использованием Клода я пока не брала (спасибо каналу @CGIT_Vines), мне тридэшные футажи подготовил коллега.

Вообще я концентрируюсь на обработке видео и поэтому возможность управления с помощью 3D, созданных в LLM на будущее мне очень улыбается.

Кратко:
⁃ 3D видео вытащенное из Blender
⁃ Обработанный в Krea первый кадр из видео
⁃ Текстовый промпт, обработка первого кадра и настройки в Runway (там их немного)

Плюсы:
⚠️Жирный хрон, можно сделать одной кнопочкой больше 5 секунд
⚠️Мало кнопочек
💿Выглядит эстетично, никакого моргания
⚠️Работает быстро, много видео в очереди

Минусы:
🪩Мало кнопочек — мало управления
✨Малый контроль сюжета даже с обработанным кадром и промптом
🪩Для обработки нужен обработанный первый кадр, а не просто картинка, это занимает время
🪩Никаких фантастических приколов вне промпта — это вам не Deforum
📺Свойственны те же артефакты, что и нынешней версии Runway — мыло, появляющиеся и исчезающие предметы и люди

Итого: полезная штука, использовать и экспериментировать хочется. Перспективно полезно и в арте, и в рекламе, и в кино, но мне хочется больше спонтанности.

Andrew Price затестил текущие модели для генерации 3D. Тест не идеальный, так как некоторые игроки не представлены на тестах. Но, тем не менее, это дает представление о текущем положении дел.

Главное — помнить, что где-то использовались PRO-версии генераторов, которые, как я подозреваю, просто наваливают больше геометрии, и точность вырастает именно из-за этого. Стоит ли пользоваться или переживать — решать вам.

Tencent апдейтнули Hunyuan3D и предложили сразу две модели: полнофункциональную и урезанную 2mini. В тестах на видео, как обычно, суперпростые модели, поэтому и артефактов почти нет.

Я пытался загрузить свою тестовую модель, на которой тестирую генераторы, но демка на Hugging Face ушла в цикл, по всей видимости, и сожрала все доступные кредиты. Так что я бы вас попросил, по возможности, сделать тесты и кинуть в сравнении с Tripo или подобными генераторами.

Обе модели доступны для тестов.
Hunyuan3D-2mini
Hunyuan3D-2mv

Отдельное спасибо за multiframe generation.
Hunyuan3D-2mv

Требования для версии mini：
shape generation：less than 5 GB
shape + texture genereation: less than 18 GB