Российские исследователи разработали алгоритм HARP, позволяющий сильно сжимать большие языковые модели, сохраняя значительную часть их возможностей. В испытаниях 2-битная версия нейросети Llama 2 с 7 миллиардами параметров генерировала 128 токенов в секунду против 61 токена у исходной 16-битной модели. Таким образом, скорость генерации текста выросла примерно в 2,1 раза без изменения архитектуры нейросети.