Инпеинт само по себе дело непростое, а без инпеинт-модели - просто боль. Поэтому держите рецептик для создания кастомной inpaint-модели. Тема не новая, но оказывается многие не в курсе.
На низком denoising strength можно и обычной моделью делать или использовать controlnet, который inpaint_only, но иногда проще сделать себе модельку чем танцевать с бубном. Так что переходим во вкладку checkpoint merger и делаем по инструкции на фотке. Если нужен pix2pix, то ставим дефолтный pix2pix вместо дефолтной inpaint-модели (Primary model (A))

Модели
SD 1.5: https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
Inpainting: https://huggingface.co/runwayml/stable-diffusion-inpainting/tree/main
Instruct pix2pix: https://huggingface.co/timbrooks/instruct-pix2pix/tree/main

P.S: видео по animatediff в работе, будет на следующей неделе, а затем и трейн разберу