Реставрация фотографии церкви

Новосёлы из села Сельцы (Рязанская область) решили восстановить Церковь Покрова Пресвятой Богородицы. От здания церкви осталось совсем немного. Сейчас они собирают деньги на восстановление, в том числе через продажу сувениров.

Уже к 1938 году церковь потеряла колокольню, а лучшая сохранившаяся фотография была не очень хорошего качества. Ксюша, которая делала макеты для сувенирных кружек, поделилась со мной этой фотографией.

Реставрация старых фото — интересная задача для работы с нейронками. Она имеет жёсткие ограничения и конкретный образ результата, в отличие от обычных нейрогенераций, где можно играться с детальностью и образом.

Опыт получился занятным. Процесс (скорее, общую логику процесса) я зафиксировал на карточках.

1) От здания мало что осталось, но и современные фотографии тоже могут пригодиться в процессе.

2) Начинаю с поиска инструментов автоматической реставрации. Но с ними не всё так просто. Большинство инструментов делают то, что я могу сделать сам (поиграться с уровнями и контрастностью, например). Какие-то сервисы удаляют трещины и царапины, но эту задачу легче решить генеративной заливкой в фотошопе. В общем, готовые сервисы мне не помогли, но немного пригодились нейро-фильтры фотошопа. Фильтр «реставрация фото» подтянул контрастность, а «колоризация» наметила цветовые пятна.

3)Этап предварительной подготовки фотографии очень важен. Мы можем использовать изображение с фотографии в качестве основы для новой генерации. Но с такими генерациями всегда приходится балансировать. Можно задать нейронке высокий уровень схожести с оригиналом, но тогда перенесутся все нежелательные артефакты. Если выставить низкий уровень схожести, архитектура начнёт искажаться. Я перепробовал несколько инструментов (Leonardo, FireFly, MJ), но все они давали либо слишком искажённый результат, либо не вносили значимых изменений. Этот этап занял у меня больше всего времени. И я пошёл в vizcom.

4) У vizcom есть две очень хорошие черты. Во-первых, он аккуратен с исходным контуром. Во-вторых, он неплохо понимает объём. К тому же у меня был референс стены настоящей церкви. Поэтому в vizcom я скрестил свою слегка улучшенную фотографию с фотографией остатков здания. И произошло чудо. Мыльно, с артефактами, но vizcom здорово поймал атмосферу. С первой же генерации. С этим результатом уже можно работать.

5) Теперь, когда цвета и фактуры пойманы, можно возвращаться в Leonardo. Загружаю изображение в Image Guidance (так там называется control net) и экспериментирую с параметрами денойзинга. Много генераций, несколько десятков, но результат меня уже почти устраивает. Закидываю несколько генераций в фотошоп, выборочно подчищаю, снова возвращаю в Леонардо (уменьшаю денойз). Несколько проходок — и готово.

6) Когда с крупными деталями покончено, можно закидывать в krea на энханс. Иногда возвращаюсь в фотошоп, чтобы подтереть очевидные несуразности. Немного цветокоррекции — готово.

7) Анимация. Это совсем не нужно, но я решил протестировать Gen3. Работает отменно!

Я понимаю, что результат далёк от идеала. На фотографии не всё можно разглядеть, а сам я совершенно ничего не смыслю в архитектуре церквей. Стоило бы взять консультацию, но сжатые сроки и нулевой бюджет... Энивей, получилось занятно.