Model Compression with Exact Budget Constraints via Riemannian Manifolds
[Статья][README.md]

Разные слои не в одинаковой степени влияют на качество работы модели. Потому существенный интерес представляет нахождение эффективного способа определять важность структурной единицы в сети.

Существующие подходы обычно полагаются на грубые эвристики, типа косинусного расстояния между входом и выходом модели, либо требуют перебора большого числа конфигураций как в эволюционном поиске / дифференцируемом NAS.

И авторы из ETH/IST предложили сравнительно недорогой и точный алгоритм, основанный на представлении задачи поиска нахождения оптимальной сжатой конфигурации в виде Римановой ⚾ оптимизации.