До этого вышел DragGAN, который позволял двигать картинки, но у него было два минуса:
- как несложно догадаться, он использует GAN'ы (мы с вами на диффузионных моделях сидим)
- Для всего что мы хотим двигать нужна отдельная модель

И теперь на нашей улице праздник, выпустили DragDiffusion и он:
- работает с нашими моделями
- для того чтобы что-нибудь двинуть нужно быстренько натренировать лору с нужной картинкой (в демке учат 200 шагов)

Ждем пока допилят, докрутят и завернут все в расширение для автоматика.

Страница проекта
Репозиторий с кодом
Бумага в архиве