invertible-cd

В репозитории содержится код для реализации метода Invertible Consistency Distillation (iCD) — нового подхода к ускоренному текстово-ориентированному редактированию изображений с возможностью точной инверсии входного изображения. Исследователи из Яндекса и ВШЭ демонстрируют, что iCD позволяет выполнять как генерацию по текстовому описанию, так и обратное кодирование реального изображения в латентное пространство за 3–4 итерации, что делает метод пригодным для быстрой и реалистичной генерации и правок. Ключевым элементом является модифицированная схема consistency distillation с разделением на прямую и обратную модели, поддерживающими многопроходную инверсию. Дополнительно используется динамическое управление шкалой classifier-free guidance, что улучшает качество реконструкции без увеличения вычислительных затрат. Эксперименты на моделях SD1.5 и SDXL показывают, что iCD превосходит или сравним по качеству с SOTA-методами, такими как NTI, InfEdit, ReNoise, но работает в несколько раз быстрее: 8 шагов против 50–150 у конкурентов. Работа может быть полезна разработчикам инструментов для редактирования изображений, исследователям в области дистилляции диффузионных моделей и тем, кто разрабатывает быстрые пайплайны генерации и редактирования в условиях ограниченных ресурсов.

статья | код