Activation_Pruning

В репозитории опубликован код метода Activation_Pruning — подхода к активационному прунингу нейросетей, основанного на идеях термодинамики. Авторы предлагают смотреть на распределение активаций как на физическую систему с энергетическими состояниями. Прунинг в такой интерпретации становится отбором состояний по энергетическому порогу. Это позволяет ввести термодинамические характеристики — плотность состояний, энтропию, внутреннюю энергию и, главное, свободную энергию, которая используется как основной индикатор того, когда pruning начинает разрушать качество модели. Ключевая идея работы состоит в том, что резкое ухудшение точности при прунинге похоже на фазовый переход. Пока порог невелик, модель почти не теряет качество, но после некоторого критического значения начинается быстрый спад точности. Авторы показывают, что такие переходы можно обнаруживать по поведению свободной энергии: по её экстремумам, точкам перегиба и изменению кривизны. Это даёт способ заранее оценить критический порог прунинга без полного перебора всех вариантов и без дорогостоящей серии экспериментов. Метод проверяется на большом наборе архитектур и задач. Авторы показывают, что предложенный критерий работает устойчиво и на компьютерном зрении, и на задачах обработки текста, а сама термодинамическая интерпретация даёт не только практический инструмент для прунинга, но и более глубокое понимание того, как нейросети теряют функциональную устойчивость при росте разреженности. Работа будет полезна исследователям в области сжатия нейросетей, разреженного и эффективного инференса, а также инженерам, которые хотят подбирать уровень прунинга не эмпирически, а с опорой на более интерпретируемый и теоретически обоснованный критерий.

статья | код