Replicart | Stable diffusion

Без мема никуда

Про SDXL

Новая модель от stability.ai (контора, которая разрабатывает stable diffusion), картинки от которой выглядят очень даже.

Прервемся на секунду. С моделями версий 1.x и 2.x у нас есть проблема - мы не можем генерировать большие изображения. Если попробуем сгенерировать картинку, с размерами сильно отличающимися от стандартных (512x512), то с высокой долей вероятности получим различные искажения и артефакты в виде дублирующихся головы/тела, повторяющегося фона и тому подобное. Это проблему решает hiresfix и работает он следующим образом:
1. Генерируем исходную картинку в txt2img, например 512x512
2. Прогоняем ее через апскейлер, чтобы просто увеличить картинку до нужного размера, например 1024x1024
3. Заапскейленую картинку прогоняем через img2img, чтобы добавить деталей

Как я понял, парни тоже самое решили сделать на уровне модели, точнее двух. Внутри SDXL у нас есть базовая модель (base) и дорабатывающая (хз как перевести, refiner). Первая генерирует картинку, вторая ее дорабатывает - процесс получается почти такой же как при уже знакомом нам hiresfix, с тем отличием, что вместо того чтобы создавать маленькую картинку и потом ее апскейлить, первая модель сразу создает изображение нужного размера, но не доделывает до конца, а оставляет чутка сыроватой и передает второй модели, которая уже доделает как надо. На выходе имеем красивую, большую картиночку. Поэтому новая модель (которая состоит из двух) и называется SDXL.

Но если играть, то по крупному, да? В моделях первой версии для обработки текста использовали openai'евский CLIP, во второй линейке OpenCLIP, а в SDXL решили использовать сразу оба и как говорят, промптится проще - результаты лучше, примерно как у Midjourney.

В итоге если в моделях первых версий было около 1млрд параметров, то с SDXL это около 6.6млрд. Это с одной стороны хорошо: больше параметров - лучше результат, больше разрешение, но и считать теперь сильно больше, и по идее нужно видеокарту помощнее, хотя ребята говорят, что все не так уж и плохо.

Кроме того, как пишет Эмад:
- готова поддержка Автоматика и ComfyUI
- уже готов Controlnet и t2i-адаптеры
- kohya обновил скрипты для тренировки и еще сделали какой-то свой тренер
- SDXL 1.0 будет под CreativeML license (такая же лицензия как у основных моделей)

Но работы еще ведутся и как в SDXL beta была только одна модель, а в SDXL 0.9 уже две, точно также у SDXL 1.0 может что-то поменяться/оптимизироваться так что когда выйдет - тогда и посмотрим. Грозятся выпустить в середине июля. Ну что ж, ждем.

Поиграться с пробной версией SDXL 0.9 можно тут

Генерация графики для 2d платформера

Парень сделал простой платформер и прикрутил к нему редактор уровней со stable diffusion, чтобы игроки могли создавать собственные локации.

Пользователь может нарисовать свой уровень в виде карты глубины, которая потом будет обработана с помощью controlnet (штука, которая помогает нейронке лучше понимать, что нужно сгенерить). Для создания окружения он использовал эту модель, а спрайты персонажей делал с помощью этой

Понятно, что пока это может выглядит не очень, и геймплей не увлекает, но как демонстрация технологии штука отличная. Даже сейчас есть возможность обучить собственную модель, например на своих работах/работах своей студии чтобы генерировать локации в нужной стилистике. Так еще через пару лет доработают нейросети, оптимизируют под железо, а там глядишь и процедурная генерация подтянется.

Самому попробовать можно тут
Пост на реддите
Статья, в которой он рассказал как делал
Код платформера

Хотел погенерить пиксель арт, а в итоге написал расширение. В посте рассказал подробнее.
дтф | пикабу

Мдааа, относительно долго ничего не постил. Надо исправляться

Я могу нас поздравить, триптих по моделям завершен
Часть 1. База: что, зачем и почему
Часть 2. Характеристика модели: fp16/fp32, no-ema/ema и тд
Часть 3. Конвертация и размер моделей

Теперь можем немного развлечься

Последняя часть по моделями: обзор расширения для конвертации + немного про размер файлов
дтф | пикабу

Вторая часть про модели подъехала. Тут весь сок про ema, fp, pruned и остальное
твд | пикабу

Без мемА и жизнь не мила

Есть такая контора RunDiffusion - они запускают у себя автоматик и дают им пользоваться. Как колаб, только удобнее и естественно платно. Так вот, парни чуть больше недели назад тихонько выгрузили свои модели на civitai, а сейчас сделали официальный релиз. Не миксы, модели тренированные и в двух версиях:
фотореализм
2.5d (более стилистическая)
Результаты неплохие даже без hires fix, как картинка с чародейкой, например. Короче - качаем, пробуем