FastViT: быстрый гибридный преобразователь зрения, использующий структурную репараметризацию

Слияние трансформаторной и сверточной архитектур открыло новую эру повышенной точности и эффективности моделей, и FastViT находится в авангарде этой революции. Эта новая архитектура гибридного преобразователя зрения может похвастаться впечатляющим компромиссом между задержкой и точностью, устанавливая новые стандарты в этой области. Ключом к его успеху является RepMixer, инновационный оператор микширования токенов, который использует структурную репараметризацию для сокращения затрат на доступ к памяти за счет отказа от традиционных пропускных соединений.

С практической точки зрения мастерство FastViT неоспоримо. Он не только в 3,5 раза быстрее, чем CMT на мобильных устройствах для точности ImageNet, но и оставляет позади EfficientNet и ConvNeXt, которые в 4,9 и 1,9 раза быстрее соответственно. Кроме того, в сравнении с MobileOne с аналогичной задержкой FastViT выходит победителем с точностью на 4,2% выше, чем у Top-1. По всему спектру задач, от классификации и обнаружения изображений до сегментации и регрессии 3D-сетки, FastViT неизменно превосходит своих конкурентов, демонстрируя замечательную скорость и устойчивость к образцам, не входящим в дистрибутив, и искажениям.

Ссылка на статью: https://huggingface.co/papers/2303.14189
Ссылка на код: https://github.com/apple/ml-fastvit
Обзор статьи: https://andlukyane.com/blog/paper-review-fastvit