Extreme Low-Bit Inference in Reasoning Models: Failure Modes and Targeted Recovery

📄 Статья
💻 Код

Вдогонку про влияние квантизации на ризонинг.

Ребята из Brain Lab выпустили интересное исследование, показывающее, как ломается ризонинг у квантизованных моделей, а также пару стратегий, помогающих предотвратить зацикливание генерации.