Replicart | Stable diffusion

После тысяч статичных изображений, скорее всего хочется чего-то другого. Париться с обработкой видео не всегда есть время/комп/желание, а заанимировать картинку вполне вариант. Делается через leiapix'овский конвертер. Штука простая и бесплатная (только опция с оригинальным разрешением за кредиты)

Инпеинт само по себе дело непростое, а без инпеинт-модели - просто боль. Поэтому держите рецептик для создания кастомной inpaint-модели. Тема не новая, но оказывается многие не в курсе.
На низком denoising strength можно и обычной моделью делать или использовать controlnet, который inpaint_only, но иногда проще сделать себе модельку чем танцевать с бубном. Так что переходим во вкладку checkpoint merger и делаем по инструкции на фотке. Если нужен pix2pix, то ставим дефолтный pix2pix вместо дефолтной inpaint-модели (Primary model (A))

Модели
SD 1.5: https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
Inpainting: https://huggingface.co/runwayml/stable-diffusion-inpainting/tree/main
Instruct pix2pix: https://huggingface.co/timbrooks/instruct-pix2pix/tree/main

P.S: видео по animatediff в работе, будет на следующей неделе, а затем и трейн разберу

С трейном в итоге так:
- персонаж: Mercy, из overwatch и Кодзима (чтобы показать и тренировку персонажа, и тренировку на лицо)
- стиль: выбирал между Жан Жиро (Мебиус) и Anato Finnstark, остановился на последнем
- концепт: сделать что-то горящим - прикольная идея, посмотрим получиться или нет

Были разные предложения и интересно узнать кто-нибудь тренирует стиль на своих работах, чтобы потом проще было делать концепт арты, учит нейронку на графике своей мобилки и теперь генерит фоны и предметы или просто развлекаетесь тренируя на свое лицо, чтобы превратиться в фею винкс? Короче, как потом используете?

Пока в мире ничего не происходит, подумываю сделать гайд по трейну, пишите, что натренировать в каждой категории. Нам надо:
- объект/субъект (какой-либо предмет или персонаж/человек)
- стиль (стиль художника или стилистика)
- концепт (поза, ракурс или кадр должен строиться по другому, как например on/off лора)

Предлагайте что угодно, сделаю самые залайканые

Ну и раз уж, закончили на теггировании.

- Нам нужен автотеггер, чтобы размечать картинки
- У нас дома есть теггер

Теггер дома:

◾️Работа с моделями
Model Converter
Merge Block Weighted
SuperMerger
Model toolkit

Все что больше 2гб сразу обрабатывается в Model Converter, потому что если хранить несколько крупных моделей не проблема (но в этом тоже нет смысла, только место забивает), то когда начинаешь мержить вместо 20 моделей по 2гб = 40гб, получаешь 20гб моделей по 4гб = 80гб на ровном месте. Мы такое не любим.
Для базовых мержей стандартного Checkpoint merger вполне достаточно. Докидываю сверху Merge Block Weighted и сижу довольный.
Как альтернатива - SuperMerger + там еще можно лоры мержить/выжимать лору из модели/вмерживать лору в модель, я это отдельными скриптами делаю поэтому не использую, а так штука хорошая.
Если нужно просто глянуть модель - Model toolkit

◾️Теггирование
Clip Interrogator (аккуратно, у меня что-то тупил последний раз, пока удалил)
BLIP 2 (его нет в списке в автоматике, ставим ручками)
WD 1.4 Tagger

Зависит от модели, на которой тренирую, реалистичное - clip/blip, аниме - wd. Если не лень, за тегером чистим и дополняем ручками. Также, по умолчанию, во вкладке train есть blip и deepbooru - можете использовать их.


◾️Все чем не пользуюсь - отключаю, потому что когда из-за какого-то расширения ломается автоматик, который и сам постоянно тупит, нагрев от моей пятой точки ускоряет глобальное потепление.

На днях переустанавливал автоматик и решил заодно рассказать про свой "джентельменский" набор расширений. Ничего сверх, только то, чем регулярно пользуюсь.

Все расширения можно загрузить из списка во вкладке Extensions, по названию. Если что-то не получается найти в списке - у всех расширений указал ссылки.


◾️Первым сразу залетает ControlNet
sd-webui-controlnet
sd-webui-openpose-editor
DWPose (не актуально, идет в комплекте)

Собственно само расширение + нормальный редактор для openpose (открывается по кнопке edit в окошке препроцессора, картинка в описании). Также, чтобы меньше нужно было пользоваться редактором закидывал DWPose - это еще один препроцессор для определения позы, рук и лица - теперь он идет с контролнетом из коробки (картинка со сравнением в комментариях).


◾️Удобство, ускорение работы
Booru tag autocompletion
Wildcards
!After Detailer
Canvas Zoom
LoRA Block Weight
Agent Scheduler

Зачем печатать, если можно не печатать? Autocompletion добавляет автокомплит (неожиданно), а вайлдкарды позволяют чуть меньше напрягать фантазию на выдумывание каких-либо деталей.
Для тех, кто не знаком с автокомплитом, это примерно как предлагаемые слова над клавиатурой, когда сообщение в телефоне набираете. Есть как и заготовленные списки тегов, так можно и свой сделать.
Вайлдкарды - это большой список слов из которого случайным образом выбирается одно и подставляется в нужное место. Например, я не хочу выдумывать наряды персонажу. У меня есть файл в котором прописано что-то типа:

casual outfit
casually dressed
official outfit
cosplay costume
и тд

и потом в промпте я просто пишу название файла, как-то так 1girl, blonde, smile, __outfit__, full body Автоматически выберется что-то из списка и подставиться вместо __outfit__. И так можно сделать для чего угодно - прически, цвета, локации, действия, позы, эмоции. Есть готовые списки, но имейте в виду, что все модели разные и например список анимешных вайлдкардов может быть бесполезен с реалистичной моделью, потому что она таких слов не знает.

Чтобы не надо было работать с инпенитом ставлю !After Detailer - он ищет на изображении человека/лицо/руки/глаза/и тд и автоматически инпеинтит эту область.
Когда автоматика не справляется, чтобы удобно было работать с инпеинтом ставлю Canvas Zoom.

Если нужно заставить лору делать то, что нам нужно, а она сопротивляется - ломаем ей ноги пытаемся играться с блоками с помощью LoRA Block Weight

Agent Scheduler - отличная штука, можно заранее выставить промпты, размеры, параметры - закинуть это все в очередь и запустить, а оно спокойно друг за другом сгенерируется. Красота.


◾️Hiresfix/Апскейл
TiledDiffusion with Tiled VAE
Ultimate SD Upscale

Нужна картинка побольше - hiresfix. Для hiresfix недостаточно памяти? Ставим TiledDiffusion with Tiled VAE и используем tiled vae.
Нужна прям большая картинка - Ultimate SD Upscale или стандартный скрипт, который SD-upscale. (у TiledDiffusion в комплекте еще есть свой скрипт для апскейла, но им не пользуюсь)

Список VAE

Ссылки
Стандартные (официальные):
kl-f8: https://github.com/CompVis/latent-diffusion#pretrained-autoencoding-models
vae-ft-ema-560000-ema-pruned: https://huggingface.co/stabilityai/sd-vae-ft-ema-original
vae-ft-mse-840000-ema-pruned: https://huggingface.co/stabilityai/sd-vae-ft-mse-original

Для настоящих man of culture (мы в интернете, не доверяете - не качаете):
nai: https://huggingface.co/WarriorMama777/OrangeMixs/tree/main/VAEs
kl-f8-anime и kl-f8-anime2: https://huggingface.co/hakurei/waifu-diffusion-v1-4/tree/main/vae
Сlear: https://civitai.com/models/22354/clearvae
Blessed:https://huggingface.co/NoCrypt/blessed_vae/tree/main
Trinart: https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion/tree/main
Perfect Colors (последняя в списке main VAEs): https://rentry.org/sdvae#where-do-i-get-vaes-and-which-one-to-use

Описание
kl-f8 - жаль, конечно, этого добряка...
560 - как 840, но чуть-чуть более резкая
840 - классика. Как штаны, в которых и в ларек за темным козлом можно сбегать и с CEO фин-тех компании договор подписать

nai - лучше не брать, сниженная насыщенность + проблемы с NAN и ошибка или черная картинка по итогу (раньше решалось прописыванием --no-half-vae, сейчас автоматик автоматически применяет эту штуку, если выпала ошибка). Указал ссылку на AOM'овскую, но по сути тот же файл, что и nai'евская. Если нужна будет вот прям она самая, то сами торрент найдете
kl-f8-anime - сомнительно, но окей. Если вам нужна прям рафинированная-конфетная картинка, то можно брать
kl-f8-anime2 - нормальная, что даже сказать про нее нечего
clear - хорошая резкость, но слишком портит лицо/глаза
blessed - берем или blessed-fix, или blessed2, по сути blessed-fix - это nai c поправленной насыщенности и проблемой с NAN, blessed2 очень похожая
Trinart - что-то между kl-f8-anime и kl-f8-anime2
Perfect Colors - нашел на rentry, а туда закинули с hgd. Одна из любимых. Чуть насыщеннее чем стандартные 560 и 840, но далеко не так как kl-f8-anime

Я человек простой - для реализма использую 840/560. Для аниме или артов - perfect colors/kl-f8-anime2.

Дубликаты
Хотите проверить дубликат это или нет
cmd: certUtil -hashfile ФАЙЛ_НАШЕЙ_ВАИ md5
powershell: certutil.exe -hashfile ФАЙЛ_НАШЕЙ_ВАИ md5
Соответственно, получили посчитали хэш одной, посчитали хэш второй и сравнили полученные значения

Новое видео про VAE: https://www.youtube.com/watch?v=Afw-Edl61w0

Сделал бусти

Там будут подробные разборы, типа как по clip и vae (который выйдет) и гайды по решению конкретных задач. Трейн, создание миксов, автоматизация, nsfw, ваши запросы - все будет там.

Просили про то, как сгенерировать персонажа и потом его натренировать - уже тута

А видео про наше любимое слово из трех букв в работе. Будет на ютубе на следующей неделе.

С дефорумом, конечно, затянул, но обещал сделать - сделал (там чисто про дефорум, обработку видео не разбирал)

Не отходя от кассы, сразу сажусь записывать следующие

По работе чутка разгрузился ближайшее время все будет

Каждый раз, когда выходит обновление

Пока занят работой и видео про дефорум (будет в субботу) отделываюсь небольшими постами, а так подумываю сделать большой материал про стабилку, в котором рассказал бы про нее все от и до. Держите мем на сдачу

Вариации изображения в Stable diffusion

У Midjourney есть отличная фишка с генерацией вариантов изображения. Он cгенерировал четыре картинки и одна из них мне понравилась. Я нажимаю кнопку V1-V4 и он нагенерит мне еще четыре картинки похожие на изначальную.

Такую же штуку мы можем сделать и у нас, в stable diffusion. Вот мы получили хорошую картинку, но хотелось бы посмотреть ее же, но немного другую. Нажатием на кнопку ♻️ фиксируем seed и ставим галочку в поле Extra рядом. У нас появляются дополнительные поля из которых нас интересует только Variation strength. Это то, насколько наша картинка будет отличаться от оригинала: 0 - получим исходную картинку, 1 - получим абсолютно новую. Ставим что-нибудь в диапазоне от 0.2 до 0.45, в зависимости от картинки и наслаждаемся.

Можно, конечно, делать и через controlnet reference, и через img2img, еще и такая крутая штука с self-attention есть, но как обычно есть несколько но:
1. Controlnet reference и fabric, тоже выполняют некоторую работу, что замедляет генерацию + слабый контроль над количеством изменений
2. img2img хорошая альтернатива и делает по сути тоже самое, но требует слишком много телодвижений. С extra тут два тыка и готово, а так надо send to img2img, проверить параметры, продублировать controlnet, если он был и играться с denoising strength вместо variation strength.

Уведомления в Automatic1111

Когда генерируешь и делаешь что-то параллельно, было бы удобно чтобы автоматик как-то оповещал, когда генерация завершена, чтобы не нужно было поглядывать на вкладку в браузере или сворачивать/разворачивать остальные программы.

Тут, как в известном анекдоте, у нас есть два путя:
1. Использовать звук для уведомлений
Закидываем в папку автоматика файл со звуком оповещения и обязательно обзываем его notification.mp3. Штука прикольная и если вам подходит - используйте, но скорее всего надоест через 10-20 генераций.
2. Включить оповещения в браузере
Переходим в Settings -> Actions и нажимаем на кнопку Request browser notifications и одобряем во всплывающем окне от браузера. картиночка

Мелочь, а удобно