⚡️⚡️⚡️Рабочая неделя подошла к концу — я с новостями

Команда Айбека Аланова «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI разработала фреймворк StyleFeatureEditor, который позволяет быстро редактировать фотографии как по текстовому описанию, так и по набору стилей. Особенность ключевая в том, что при редактировании сохраняется качество реконструкции, а вносимые изменения выглядят при подборе параметра очень реалистично.

Научная фишка в том, что обучение энкодера делится на две фазы. Сначала просто учим понимать представления в F‑пространстве (модуль Inverter). После инверсии теряется редактируемость и чтобы её восстановить на втором этапе мы встраиваем и обучаем новый модуль Feature Editor, чья задача — модифицировать F‑тензор таким образом, чтобы добиться желаемого изменения стиля.

🔥Научная статья про данный подход была принята на самую цитируемую конференцию по компьютерному зрению CVPR-2024.

🟢Все детали на Хабре
🟢Протестировать модель можно в демке на Hugging Face👇. Она пока работает только с изображениями лиц, но скоро раскатаем и на другие домены😉

Предлагаю в комментариях размещать самые интересные результаты редактирования (каких стилей там только нет🤫)

Хабр
Демо

Всем хороших выходных👋