Image-to-Image Translation with Low Resolution conditioning
arxiv | git

В пейпере авторы довольно успешно делают перенос стиля с очень низкокачественных (8x8) изображений. У них довольно интересная архитектурая: берут обычный GAN и меняют в нем генератор на U-shaped сетку.

Сначала в энкодере исходная картинка даунскейлится (и пробрасываются skip connections в декодер). Потом в декодере она апскейлится, и к ней несколько раз подмешивают информацию из низкокачественного таргета. Плюс, там есть отдельный ход с изменением среднего и вариации исходной картинки и коэффициентов при них на основе таргета

Кажется, что с такой U-сеткой в целом можно подмешивать кондишены меньшей размерности, чем сама картинка