Вчера Facebook релизнул код для Instance-Conditioned GAN. Идея проста в своей гениальности – если раньше в мультиклассовых GAN'ах к случайному шуму при инициализации передавали указатель класса, чтобы модель лучше понимала, что именно ей генерировать, то теперь можно передать эмбеддинг из CLIP'а c описанием класса, который мы хотим получить, и тогда генерация будет больше 'сдигаться' к тому описанию, которое мы передали. К тому же, теперь можно не выбирать один из классов, а делать нормальный zero-shot

Очень прикольно это работает, если использовать и инициализацию изображения, и передавать описание, так как можно добиться переноса стиля или переноса контента (в оригинальной статье авторы, например, передают сетке изображение лабрадора с подписью 'хаски', и сетка генерит нечто между). Я попробовала из фотографии гор развернуть готический кафедральный собой, некоторые кадры у сетки получились прям красиво 🌚 В конечном итоге она решила кажется сгенерить собор в горах, в принципе fair enough

Колаб вот