StableRep: Синтетические изображения, полученные с помощью моделей преобразования текста в изображение, способствуют обучению визуальным представлениям

В новаторском исследовании обучения визуальным представлениям ученые использовали синтетические изображения, полученные с помощью ведущих моделей преобразования текста в изображение, в частности Stable Diffusion, и получили многообещающие результаты. Исследование раскрывает два ключевых момента: во-первых, при правильной настройке методы самоконтроля, обученные на синтетических изображениях, могут соответствовать или даже превосходить методы, обученные на реальных изображениях. Это позволяет говорить о перспективности эффективного и действенного обучения представлениям, уменьшая потребность в обширных базах данных реальных изображений.

Во-вторых, исследователи разработали новый подход под названием StableRep - метод мультипозитивного контрастивного обучения, который рассматривает несколько изображений, созданных на основе одной и той же текстовой подсказки, как взаимно позитивные. Убедительным результатом стало то, что StableRep, обученный исключительно на синтетических изображениях, превосходит представления, полученные с помощью таких известных методов, как SimCLR и CLIP, даже если они использовали реальные изображения. Поразительная демонстрация: при добавлении языкового контроля StableRep, обученный на 20 млн синтетических изображений, превосходит CLIP, обученный на 50 млн реальных изображений. Эти результаты не только подчеркивают потенциал синтетических данных, но и прокладывают путь к более эффективному, крупномасштабному обучению визуальным представлениям.

Ссылка на статью: https://arxiv.org/abs/2306.00984

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-stablerep