Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation
[Статья][Код]

При сжатии моделей, активаций и KV-кэшей обычно смотрят на перплексию и результаты на стандартных бенчмарках, то есть оценивают, насколько изменилось качество модели в целом.

Однако на практике есть еще один важный аспект — безопасность.

Авторы показывают, что модель может практически не потерять качество по стандартным метрикам, но при этом заметно хуже соблюдать alignment и гораздо охотнее отвечать на опасные запросы.