Post #1821
2.13K
Galqiwi's boredom Наконец-то закончил работу над большим пет-проектом. Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV. Можно потестить демо здесь видео
сник пик новой версии -- с меньшим потреблением памяти и большим выбором моделей
- 🔥 17
- 🤩 2