Пишу про нашу новую работу, которую мы недавно засабмитили на NeurIPS.

В нашей статье ImageReFL: Balancing Quality and Diversity in Human-Aligned Diffusion Models мы исследуем методы дообучения диффузионных моделей на основе пользовательских предпочтений для повышения качества генерации изображений.

Существующие методы оптимизации (ReFL, DraftK, DRTune, AlignProp) страдают от reward hacking — модель переобучается на модель награды, что снижает разнообразие изображений. Мы предлагаем метод комбинированной генерации, позволяющий управлять балансом между качеством и разнообразием, а также новый способ дообучения, который позволяет повысить разнообразие без потери качества.

Также мы создали небольшую библиотеку, позволяющую удобно обучать модели как нашим методом, так и классическими ReFL и DraftK.

Прошу поддержать нашу новую работу на Hugging Face Papers и поставить звездочки на гитхабе)

Кроме того, мы опубликовали дообученные модели SD1.5 и SDXL на Hugging Face.