Наконец-то закончил работу над большим пет-проектом.
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
Post #1816
28.4K
- Oct 6, 2026https://x.com/Sal_Predebut/status/2107256507184120104
- Sep 28, 2026Disaggregated quantization Новая статья. Процессим LLM префилл и генерацию разными квантиз…
- Sep 23, 2026Hamming, Intro to The Art of Doing Science and Engineering: Learning to Learn (March 28, 1…
- Jul 30, 2026She hungry
- Jul 21, 2026https://www.youtube.com/watch?v=rGNmjx6S2v4
- Mar 11, 2025photo post