Мы настолько тормозили, что Instruct 2-битную модель люди из community выложили раньше нас. Любопытно. откуда такое разночтение в метриках для исходной модели.

Если конкретно:

По нашим замерам неквантизованная Llama-3.1-Instruct выдает 68.17% точности в среднем на MMLU.
А квантизованная AQLM в 2 бита и зафайнтьюенная нами PV модель - 59.17%. То есть просадка у нашей модели меньше, но и бейзлайн выше)