Спасибо, мистер гигол. 🚬
Я не хочу захламлять вам ленту очередным постом про МЕГА ПРОРЫВ БОЖЕ МОЙ ОДНА КНОПКА НЕВЕРОЯТНО ВЫПЬЕМ ЗА ВСЕХ И НА ЗАВОД, вместо этого хочу поговорить про прикладную задачу, которую прошка, как и обычная банана, нормально решить не может.
Речь о дрейфе цветов при их переносе с референсов.
Как бы ты ни прокачивал "мозги" диффузии, базовые проблемы технологии никуда не денутся.
И если между ракурсами простеньких 2d-шных ассетов дрейф не такой сильный (но все равно есть), то вот при попытке перенести конкретные цвета на одежду или другие штуки — бой о бой. Начинается веселуха.
Ловите микрогайдик, как перенести цвет максимально близко к оригиналу и не поехать крышей в процессе.
Я думал, он потеряет актуальность с выходом новой модели, но кажись нет.
И да, я понимаю, что текстура, освещение и геометрия не позволят перенести цвет 1 в 1, но вы хотя бы приблизитесь к этому.
1. Уберите любые цвета с оригинального объекта, особенно насыщенно-темные.
Лучше всего сначала перегенерить объект в белый цвет.
Диффузионки лишь частично зашумляют целевое изображение, оставляя информацию о цветах. Это сильно влияет на результат.
2. Добавьте референсный цвет прямо на целевое изображение.
Можно просто расширить холст и добавить цвет сбоку. Затем перегенерируйте, попросив перенести цвет на объект из этого рефа.
Обычно у in-сontext моделей при переносе цвета с отдельного референса изображение идет через семантический энкодер, где теряются точные оттенки — важнее передать форму, материал, стиль и примерную палитру. Плюс модели устойчивы к цветовому расхождению, им необходимо это для распознавания объектов при разном освещении.
А вот если поместить цвет на самом холсте, то он проходит через тот же латентный энкодер, что и остальная часть изображения. Короче, информация о цвете остается "внутри" изображения, поэтому он переносится точнее.
3. Готово, вы практически великолепны.
Практически — потому что идеально все равно не получится, но для большинства задач и работы на коленке без геморроя с Comfy или чем-то еще — достаточно.
Если хотите порассматривать цвета, PDF в комментах.
Мутный AI