Дообучение уже готовой модели тема. Вот шустрый товарищ спустя сутки после выхода Stable Diffusion 2.0 натренировал её на 73 картинках с качественными рендерами всяких штук из будущего. Видимо, у него ферма для майнинга простаивала, судя по скорости работы. Я попробовал итоговый вариант, получилось очень хорошо. С моими слабыми ноутбуками самостоятельное обучение модели не вариант, поэтому придётся мне охотиться за удачными тематическими колабами.

Пробовать можно тут: https://huggingface.co/spaces/nitrosocke/Diffusion_Space