Replicart | Stable diffusion

И еще на civitai наткнулся на парня. Понятно, что дорабатывает в фотошопе или чем-то таком, но как круто делает! Лучший!

Пу-пу-пу, так
➖ лучший редактор openpose, которым пользовался
➖ прикольный тестер для проверки фоток (сгенерированная или нет?)
➖ небольшая статья про модели, про технические детали/неисправности. Тем, кто работает с моделями или хочет узнать чуть больше можно почитать
➖ хорошая статья про блок-мерж моделей
➖ интересная портянка про тренировку моделей на сгенерированных картинках. Вывод: лучше всего, сгенерированные картинки разбавлять реальными (новыми), тогда все будет ок. Тут конечно речь про большие, полноценные тренировки с кучей картинок, но и для собственных тестов тоже интересный момент.
➖ завтра релиз sdxl, интересующиеся могут ознакомиться с этим и этим. До этого про неё уже писал, так что коротко:
- состоит из двух моделей: базовая делает основную часть, а рефайнер доделывает, поэтому использовать только вместе (что в общем-то стало понятно после игр с 0.9)
- предназначена для размеров 768-1024
- основные проблемы остаются: руки и остальные мелкие/сложные детали
- модель большая (2.6ярда параметров против 0.86ярда у моделей 1.x и 2.x) - требует видеокарточку помощнее (и для генерации и для тренировки)
- попутно в статье немного похуисосили MJ и Dalle за то что не делятся наработками и не имеют права говорить что они самые-самые, потому что модели закрытые и нормально потестировать их нельзя, а SDXL все равно уделывает их по красоте картинок (по тестам авторов, естественно)
- ждем версию 1.5 автоматика, с поддержкой sdxl и остальными плюшками

А в целом работал, поэтому отделаюсь только этим постом. Один из проектов nsfw направления, поэтому пришлось вникнуть в генерацию сисек-писек, так что теперь я обладатель разряда по генерации похабных и фотореалистичных картинок.

Сажусь за гайд по дефоруму

До этого вышел DragGAN, который позволял двигать картинки, но у него было два минуса:
- как несложно догадаться, он использует GAN'ы (мы с вами на диффузионных моделях сидим)
- Для всего что мы хотим двигать нужна отдельная модель

И теперь на нашей улице праздник, выпустили DragDiffusion и он:
- работает с нашими моделями
- для того чтобы что-нибудь двинуть нужно быстренько натренировать лору с нужной картинкой (в демке учат 200 шагов)

Ждем пока допилят, докрутят и завернут все в расширение для автоматика.

Страница проекта
Репозиторий с кодом
Бумага в архиве

Я там в файлике накосячил
Пока генерил, думал, что это я с промптами туплю и все выглядит хуже чем в clipdrop (в SDXL другой обработчик текста (точнее два), поэтому промптить нужно немного по другому), или может это такая сырая версия? Разгадка, как это обычно бывает, куда проще: я просто наебался с нодами для обработки текста и с нодами для семплеров. Слева на картинке неправильно, справа - правильно.
Это все, до релиза про sdxl больше ни слова.
Приложил новый файлик с правильным пайплайном, а у тех, кто работал с неправильным

Слили SDXL 0.9

Интересно потестить, чтобы потом сравнить с 1.0
Ссылки для любознательных (торренты):
Базовая: magnet:?xt=urn:btih:45ec120e40c68176ae5414250726cceaffe22001&dn=sd_xl_base_0.9.safetensors
Рефайнер: magnet:?xt=urn:btih:b2685d9ae2026df0697e5f1193406cba16bad435&dn=sd_xl_refiner_0.9.safetensors
Вся репа (обе): magnet:?xt=urn:btih:56d304b8c2a40a92af7f6ff52cdf8b80ace9220d&dn=SDXL%200.9

В автоматике вроде готова поддержка, но честно не знаю выгружали ли ее или она на другой ветке (сходу не заработало), поэтому проще в ComfyUI использовать. Закидываем приложенный файлик в интерфейс (просто перетащить и отпустить) и генерим. На моей кофемолке с 4гб, с lowvram, 1024x1024 делает несколько минут.

Пробегал мимо одного чатика и там спрашивали про туториалы по deforum, интересующиеся могут ознакомиться:

🌉 Примеры анимации параметров можно посмотреть на страничке дефорума и на гитхабе

📄 Почитать можно и оф. доку по блокноту, и вики на гитхабе, и на rentry тоже есть

🎥 Неплохое видео у Сабатовского и продвинутое у Всеволода (который тоже моушн). Эти два видео вообще красота (на англ): один и два

Если нужон гайд ставьте🗿, наберем 15 - сделаю

Сделал тут видео про clip-skip, лучшее в нем - переходы между блоками
https://www.youtube.com/watch?v=oh2TgZ8eQuU