QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction

📄 Статья
💻 Кода нет

Когда PTQ (Post-Training Quantization) не выдает желаемого качества при целевой степени сжатия или модель нужно адаптировать по ходу дела, неизбежно приходится переходить к QAT (Quantization-Aware Training).

Наивный STE (проброс градиента) может работать сносно, но расходится на низких битностях и вообще не очень стабилен. По факту градиент считается не из той точки, где в данный момент находится вес.

Кроме того, существующие техники не учитывают кривизну при оптимизации в STE.

И данная работа предлагает сравнительно недорогой способ сделать STE точнее и более адаптивным под геометрию.