Новый метод редактирования изображений от нашей команды 🔥

Рад представить вам нашу работу Guide-and-Rescale, которую мы недавно опубликовали и которая была принята на одну из самых престижных конференций по компьютерному зрению ECCV 2024.

В этой статье мы предложили новый метод редактирования изображений с помощью диффузионных моделей. Задача редактирования заключается в том, чтобы по текстовому описанию изменять входное изображение. Например, заменить объект на картинке на другой, или изменить стиль всего изображения, или поменять эмоцию на лице человека, и т.д.

Наше научное достижение заключается в том, что мы смогли в этой задаче успешно использовать механизм гайденса диффузионной модели, который позволяет контролировать генерацию. Это позволило нашему методу достичь хорошего качествоа редактирования по сравнению с другими существующими подходами, при этом сохраняя исходную структуру изображения и те части, которые не должны меняться.

Мы выложили весь код на GitHub. Его можно легко запустить в Google Colab. Будем рады вашим звездочкам и форкам ⭐️

Мы закинули статью на Daily Papers. Тоже будем рады вашим апвоутам 🥰

Также мы выложили демку на Hugging Face, где вы можете протестировать наш метод на своих изображениях 😉

Все детали статьи есть на архиве и в более простом изложении на хабре.

Делитесь в комментариях вашими мыслями о нашей статье и вашими примерами интересных результатов редактирования 🤩

@aibrain_channel