ИИгорь

#1 Создание фототекстур в Photoshop!

Запускаем серию образовательных роликов и делимся делимся нашим первым туториалом по созданию фототекстур, пригодных для дальнейшего экспорта.

Текстуры — это важная часть при разработке 3D-моделей. Цвет, рельеф, текстура, настроение — всё это передаётся с помощью визуализации рисунка.

За кадром — Игорь, 3D-художник студии Sxema и автор новостного канала о нейросетях и 3D.

#sxema_learning

На канале студии СХЕМА начали выкладывать серию коротких обучающих видео, которые мы с ними недавно записали. Главная тема будет создание текстур и материалов. Всем, кто этим интересуется, очень рекомендую посмотреть.

Папка с нейронками занимает у меня на диске 260 гб.
Это не считая 120 гб AnimateDiff, который я наконец смог поставить локально, и которому явно столько не надо. Кто-то еще скажет, что это rookie numbers.

Очень наглядно это показывает бесплатная прога WizTree, которую я недавно увидел в видео LTT.
В виде карты показывает все папки и большие файлы на диске, сразу становится предельно ясно, куда делось все место.

Раньше пользовался Scanner, тоже отличная прога, но WizTree гораздо быстрее и нагляднее. В общем, всем рекомендую чтобы искать непомерно гигантские бэкапы старых проектов и недоудаленный устаревший софт.

Ну и еще можно вставить карту диска в контролнетворк и генерить из нее картинки.

Пока ждем официального выхода SDXL 26 числа, сделал вот такую анимацию в блендере из картинок, нагенеренных в SD 1.5.

Кстати, уже можно скачать альфа-версию Blender 4.0!
Пока из интересных штук, которые там появились можно назвать:
- Встроенная превьюшка нод, как раньше было только с аддоном
- Light Linking – источникам света теперь можно назначать объекты, на которые они влияют, люди все время спрашивали, как это можно сделать
- Repeat zone, которая позволяет создавать циклы и повторяемые операции в Geometry nodes
- Превью конкретных нод в Geometry Nodes, как раньше можно было только в нодах материалов с помощью Node Wrangler на Ctrl+Shift+Клик
- Новый шейдер glossy с встроенной анизотропией
- Улучшение снеппинга
- Фильтр Smooth для кривых в Graph Editor

Конечно, до выхода Blender 4.0 еще достаточно много времени, и за этот срок много чего планируют добавить. Я больше всего, конечно, жду Eevee Next и новый таймлайн.

Как я и ожидал, очень быстро вышло расширение AnimateDiff для Auto1111. Уже пару дней его тестирую.

Хорошие новости:
- Работает на 12 гб видеопамяти. 4070ti генерит по гифке в минуту, где-то в 5 раз быстрее, чем на бесплатном колабе.
- Можно использовать любые чекпоинты, лоры, контролнеты и т.д., в общем любые инструменты, которые нормально работают с batch size > 1.
- Почему-то работает оптимизация SDP, благодаря чему, видимо, и генерится быстро и не кончается видеопамять. Оптимизация через xformers пока не работает.

Плохие новости:
- Качество генерации намного хуже, чем на колабе по трем параметрам. Во-первых, на всех картинках присутствует небольшое мигание по яркости, в результатах с колаба ни разу такого не ловил. Во-вторых, контраст всех картинок заметно ниже. В-третьих, все анимации намного более статичные. В результатах с колаба намного больше движения. Здорово, если бы параметр динамичности можно было регулировать, кстати говоря.
Результаты можно сравнить с предыдущим постом. Автор аддона говорит, что проблема в том, что в Авто1111 иначе происходят некоторые подкапотные процессы, из-за чего возникает такая большая разница. Надеюсь, тут ничего такого, что нельзя было бы починить, чтобы приблизиться к официальной имплементации.

Кстати, к официальному AnimateDiff прикрутили в тестовом режиме интерфейс Gradio, что удобнее чем редактировать файлы и пользоваться командной строкой, но пока работает не очень, не говоря о том, что вразумительной инструкции по установке так и нет, а та, что есть, предлагает скачать 70 гб, которые на самом деле не нужны.

В общем, пока ждем (примерно 2 дня) улучшений и пока пользуемся хорошим колабом. Автор его допилил, в нем стало намного проще разобраться, и теперь генерировать видео может вообще каждый, без каких-то углубленных знаний или мощного железа. Рекомендую всем попробовать, это достаточно просто и весело.

AnimateDiff - это последний прорыв в генерации видео из текста.

Такой стабильности прямо из коробки я пока не видел и уж точно сам не получал. Каждая гифка генерилась у меня примерно 5 минут на колабе. Люди сообщают, что на 4090 генерится за минуту.

Сразу скажу, что хотя модель оптимизировали с 42 гб, ей все еще нужно минимум 12 гб для работы, и пока точно никто не сказал, хватает ли ровно 12, или нужен ли запас, 16 и больше. Инструкции на гитхабе для винды не подходят, если имеете соответствующую видюху, надо сразу топать в issues и читать там, у кого как получилось, имейте в виду, что после команды гита скачать репо стейбл диффьюжн, надо ждать очень долго, он не завис, просто там 25 гигов.

Проще всего пока что запустить на этом колабе. На эту модель не распространяются ограничения, потому что у нее нет графического интерфейса. Это тоже немного усложняет освоение, но все же колаб проще, чем ставить локально. Промпты лежат в папке animatediff/configs/prompts/ лучше сразу перед первым запуском отредактировать файл 2-Lyriel.yaml и вписать там свои промпты. Можно разкомментить соответствующие строчки в ячейках колаба, чтобы скачать другие модели. Подходят модели от обычного SD 1.5, так что можно загрузить (или скачать с Civitai) и свою любимую.