На днях NVidia выпустили статью о новом фреймворке DreamTeacher с одноименной статьёй

DreamTeacher: Pretraining Image Backbones with Deep Generative Models

Идея в том, чтобы используя генеративные модели через дистилляцию улучшить признаки карточных backbone моделей в классических задачах компьютерного зрения: сегментация, классификация и тд. (MSE лосс)
Ту же дистилляцию можно применить на конечных задачах с разметкой на генеративных и backbone логитах (кросс энтропия и Dice лосс)

Итог: получился механизм претрейна backbone архитектур на базе генеративных фичей, обладающих семантическим обоснованием.

Статья
Проект

@complete_ai