Первое правило ИИ-клуба: не чини починенное. 🛠

Вы редактируете картинку через нейронку, и с каждой новой правкой она деградирует. Текстуры плывут, лезут артефакты, чёткость тает. Буквально 3-4 правки, и вместо нормального кадра у вас каша, которую уже ничем не спасти.

Это не кривые руки. Это устройство самих моделей. И сейчас расскажу, откуда оно берётся и как не доводить до трупа.

Обычно мы правим одно и тоже изображение не от хорошей жизни. Если у вас есть заказчик, то он запросто может присылать правки не разом, а волнами и нарушая этапность.

Согласовали персонажей, пошли в генерацию сцен, всё хорошо. И тут заказчик решает переделать персонажа. А потом ещё разок. А потом откатить то, что согласовали неделю назад (не знаю, как у вас, но у меня это происходит на каждом третьем проекте).

И вот вы берёте готовый кадр, кидаете его в нейронку как инпут, меняете одну мелкую деталь, генерите. Потом ещё раз. И ещё.

Чтобы продемонстрировать проблему я взял чистое изображение комнаты и внес в него несколько этапов правок, каждый раз меняя одну деталь. И вот что получилось (см. картинки ниже). Текстуры стен и потолка поплыли, ковролин стал мутной тряпкой, здания за окном развалились на пиксели.

Почему так происходит?

Этому есть инженерное объяснение: iterative generative drift. Модель не копирует ваш инпут, она каждый раз заново его интерпретирует. И микроошибки копятся не в плюс, а в умножение, с каждым шагом всё быстрее.

Причем даже если вы вообще ничего не меняете, заметные артефакты вылезают уже после 5 прогонов. Я сделал 10 и получил труп. 💀

Кто знаком с проблемой, наверняка знает, что никакой апскейл тут не спасает. Он просто увеличит разрешение испорченного кадра. Был мусор 1k, стал мусор 4k. Также не работают никакие “почини артефакты”, “исправь текстуры” и прочие “8k ultra detailed hi-res”.

Как же тогда это лечить?

Сначала простое: не доводить до каши. Половина проблемы решается профилактикой.

Правьте локально. Меняется одна деталь, значит и трогать надо только её. В фотошопе: выделили фрагмент, сгенерили, изменения легли в одну область. Остальной кадр не пострадал.

Или вырезайте кусок руками. Достали нужный фрагмент, поправили отдельно, вернули обратно оверлеем с мягкими краями. Дёшево и сердито.

Так вы не кормите модель её же выхлопом по десятому кругу. И каша не накапливается.

Но что, если вы уже все сломали, как коты Наташи? 😽Или если вам нужно поправить не локальный элемент, а, скажем, сменить освещение во всем кадре или цвет стен. Картинка вроде та же, а изменения размазаны по всему полотну, локально не выделишь.

И вот тут у меня есть способ его воскресить. Про него во второй части. 👇