包括把KV Cache offload到SSD,以及分层加载模型之类的论文、工程实践我都看了不少,他们更多的是在HPC高密部署的场景下成立,对于传统PC(包括laptop以及desktop),很难说对体验有很大的提升
他更多的是解决能不能跑,以及跑起来稳不稳定的问题,但不会说有那种50%甚至100%的性能提升
Post #6375
894
- 🔥 4
硬件 硬件观察 VER3.0 With HOMOLAB @supernand · 6.67K subscribers