ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization
[Папира] [No Code No Party]

Введение

Вопрос о том, какая битность весов при QAT (Quantization Aware Training), дает наилучшее качество, представляет несомненный интерес как с академической, так и практической точки зрения, и ранее был рассмотрен, в частности, в работе Scaling Laws for Precision, где утверждалось, что оптимальная битность в районе 6-7 бит на параметр.

Однако, подобные выводы сильно чувствительны к качеству процедуры QAT.
Успех серии работ по BitNet намекает, что вряд ли все так плохо в низкой битности.

И в данной работе большой коллектив авторов из Меты предлагает пару модификаций улучшения процедуры QAT.