📄 UNIT: Unsupervised Image-to-Image Translation Networks [NeurIPS 2017]

Продолжаем разбирать статьи из репозитория imaginaire

В этой работе решается общая задача image-to-image translation между двумя доменами. Поскольку сбор обучающей выборки с разметкой может быть очень дорогим (дневная / ночная съёмка) или вообще невозможным (превращение пород собак), на помощь приходит unsupervised-обучение. Имея два независимых множества картинок из разных доменов хочется смоделировать функцию, способную переводить один домен в другой не нарушая семантику.

Для этого часто используется условие cycle-consistency (см. CycleGAN), но авторы пошли дальше и предложили shared-latent space, когда для двух соответствующих картинок латентные коды в некотором пространстве совпадают.

Что из этого вышло, можно посмотреть по ссылке: https://teletype.in/@ploshkin/unit