HairFastGAN

В репозитории опубликован код HairFastGAN — метода для быстрого и реалистичного переноса причёски между фотографиями лица. Авторы работают с задачей виртуальной примерки волос, где нужно перенести форму, структуру и цвет причёски с референсов на исходное изображение, сохранив лицо, позу и фон. Ранние методы на оптимизации обычно дают хорошее качество, но работают слишком медленно для интерактивного сценария. Более быстрые энкодерные подходы часто теряют реализм, хуже сохраняют идентичность и особенно страдают, когда позы на исходной фотографии и референсе сильно отличаются. HairFastGAN решает эту задачу через полностью энкодерныый пайплайн без долгой оптимизации на этапе инференса. В экспериментах на CelebA-HQ метод сравнивается с HairCLIP, HairCLIPv2, CtrlHair, StyleYourHair и Barbershop. HairFastGAN показывает лучшие значения FID, FIDCLIP, LPIPS и PSNR в ключевых сценариях переноса, при этом работает менее чем за секунду на Nvidia V100. По сравнению с Barbershop ускорение достигает сотен раз, а качество остаётся на уровне или выше оптимизационных методов. Работа будет полезна исследователям генеративного редактирования изображений и разработчикам вирутальных примерочных.

статья | код