Увеличил на 9% скорость работы и уменьшил размер на те же 9%.
Смог сжать эмбединги в nf4 формате. Не стал жать в nf4 голову, остановился на int8, поскольку второй быстрее.
Post #1817
1.96K
Galqiwi's boredom Наконец-то закончил работу над большим пет-проектом. Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV. Можно потестить демо здесь видео
- 🔥 13
- ❤ 2