Guide-and-rescale

Код, позволяющий тренировать и инференсить диффузионную модель, способную редактировать изображение по текстовому запросу. В своей работе авторы исследуют метод гайденса для модели, благодаря которой траектория, вдоль которой семплируюется шум в диффузионной модели, не выходит из реального распределения данных. Это, в свою очередь, позволяет получить качественные и реалистичные изображения. Для достижения результата авторы вводят специальные энергетические функции, сохраняющие локальные свойства объектов на изображениях. Исследователи утверждают, что их подход эффективен с точки зрения вычислений, а так же показывают в ряде экспериментов его состоятельность. Код может быть полезен DL-исследователям, Data Science специалистам и ML-инженерам.

статья | код