Quantized Reasoning Models Think They Need to Think Longer, but They Do Not

📄 Статья
📝 Блогпост

Известно, что квантизованные модели просаживаются в качестве несколько сильнее, чем модели на остальных классах задач.

Но из-за чего именно это происходит?

Команда из Meta обнаружила, что квантизованные модели подвержены overthinking: они начинают зацикливаться в рассуждениях и, даже получая в промежуточных рассуждениях верный ответ, не выдают его по итогу.

Авторы исследуют данное явление и предлагают простую стратегию, позволяющую одновременно укоротить ответы и улучшить качество.