WUSH: Near-Optimal Adaptive Transforms for LLM Quantization
[Статья] [Кода нет]

Вращения, в частности, пресловутые Адамаровы, активно используются для “размазывания” распределений и упрощения задачи квантизации. Адамаровы и прочие фиксированные вращения (дискретное синусное/косинусное преобразования) неплохи, но можно ли найти на основе данных более оптимальное преобразование?

И авторы рассматриваемой статьи нашли некую форму, которая оказывается стабильно лучше Адамаровых матриц, в особенности, для miscroscaling форматов.