HyperDomainNet

В репозитории опубликован код к работе HyperDomainNet: Universal Domain Adaptation for GANs, посвящённой адаптации StyleGAN2 к новым стилям и доменам при очень малом числе параметров. Вместо дообучения всех 30 миллионов весов генератора авторы предлагают domain-modulation: для каждого целевого домена оптимизируется один вектор размерности около 6 тысяч координат, который подключается в модуль модулируемых свёрток StyleGAN2 и управляет сдвигом стиля. При этом качество адаптации практически не уступает полному дообучению модели. Поверх этого подхода вводится новый регуляризатор indomain angle consistency, который заставляет сохранять попарные косинусные расстояния между изображениями в пространстве эмбеддингов CLIP до и после адаптации. Это заметно уменьшает эффект схлопывания мод и помогает сохранить разнообразие сгенерированных лиц в новом стиле, что видно и по метрикам, и по примерам для доменов вроде аниме-портрет. Авторский вариант MindTheGap с новым параметрическим представлением и этим регуляризатором даёт сопоставимое качество с исходным методом при сокращении числа обучаемых параметров примерно в тысячу раз. Работа будет полезна исследователям генеративных моделей, тем, кто занимается few-shot-адаптацией GAN по тексту или единичным изображениям, а также разработчикам интерактивных инструментов для художественного и стилистического редактирования изображений.

статья | код