⚡️Довольно занимательный ресёрч вышел на днях от ребят из MIT и Northeastern University.

Erasing Concepts from Diffusion Models

Авторы предложили схему файнтюнинга для «удаления» из предобученной диффузионной модели для генерации изображений опредлённого вида контент (например, это пригодится для удаления обнажёнки, крови или просто каких-то специфичных объектов). Делается это через специальный метод negative guidance (негативные промты, которые позволяют указывать модели, чего ей НЕ нужно рисовать).

Эффект от файнтюнинга достигается путём обучения слоёв cross-attention, выходы которых зависят от промта (наличие слова “car” выделяет соответствующие контуры автомобиля на карте внимания - (a)).

🫣На пути к полной автоматизации редактирования изображений через текст (а если это ещё и в чатбот вкрутить)

Статья
Гитхаб