HARP от МФТИ повышает точность 2-битных языковых моделей и ускоряет их работу примерно вдвое

Исследователи Московского физико-технического института (МФТИ) разработали алгоритм HARP, который помогает сохранять качество больших языковых моделей при экстремальном сжатии. Метод улучшает результаты квантования моделей семейств Llama и Qwen, снижая потери точности при уменьшении разрядности весов. По данным разработчиков, в экспериментах с 2-битным представлением ошибка уменьшилась на 12–15%, а скорость работы сжатой модели оказалась примерно в 2,1 раза выше, чем у соответствующей полной версии.

Читать подробнее: https://www.cta.ru/news/cta/184027.html