KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
[Статья][Код на месте]

И снова про квантизацию KV-кэшей.

Про это тему можно говорить бесконечно, но не буду утруждать себя, иначе вы потонете в потоке этой информации.

Примерно в одно время с KIVI другая команда выпустила статью, которая так же целится в сохранение приемлемого качества при квантизации ниже 4-бит.