Революционизируя существующую парадигму компьютерного зрения "предварительная тренировка, а затем точная настройка", это исследование ввело инновационный этап предварительной подготовки. Используя метод маскированного автоэнкодера (MAE) для инициализации модели, эта стратегия предварительной подготовки масштабируется в зависимости от размера как модели, так и данных. Это делает его идеальным инструментом для обучения базовым моделям следующего поколения, даже в самых крупных масштабах.

Надежность нашей методики предварительной подготовки подтверждается последовательным улучшением сходимости моделей и производительности последующей передачи данных в различных масштабах модели и размерах наборов данных. Авторы измерили эффективность предварительной подготовки к широкому спектру задач визуального распознавания, и результаты оказались многообещающими. Модель ielargest достигла беспрецедентных результатов в iNaturalist-18 (91,3%), 1-shot ImageNet-1k (62,1%) и передаче с нулевым кадром в Food-101 (96,0%), подчеркивая огромный потенциал правильной инициализации модели даже при предварительной обработке миллиардов изображений в веб-масштабе.

Ссылка на документ: https://arxiv.org/abs/2303.13496

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-mae-pretrain