TGViewer
硬件观察 VER3.0 With HOMOLAB 硬件观察 VER3.0 With HOMOLAB @supernand · 6.67K subscribers
Post #6375 894
包括把KV Cache offload到SSD,以及分层加载模型之类的论文、工程实践我都看了不少,他们更多的是在HPC高密部署的场景下成立,对于传统PC(包括laptop以及desktop),很难说对体验有很大的提升
他更多的是解决能不能跑,以及跑起来稳不稳定的问题,但不会说有那种50%甚至100%的性能提升
  • 🔥 4
More from @supernand
  1. Oct 15, 2026目前了解到业内有一些AI CSSD相关的SPEC正在推进,其实说到底也是做2NS去让model以及KV Cache的读取更加迅速、不会因为高强度读写加速磨损而已 对于性能的帮助,有…
  2. Oct 15, 2026实话实说,我不觉得有任何一个手机用得上这玩意,端侧AI概念再吹破天、再炒作,也不是Mobile SOC小水管可以做的。。。。
  3. Oct 15, 2026UFS5.0 The First take 消息来源于两个Tier0级厂商,别猜是谁了,无可奉告 SEQ 11000&8000MB/S 4K RND 1000/1500K(Peak…
  4. Oct 15, 2026黑傻这充电宝咋还鼓包了,他妈的😡
  5. Oct 14, 2026一刻也没有为9550Pro的失败而哀伤,如今奔赴战场的是米哈光最新力作:高成本低性能何意味的神人SSD 7600Pro!
  6. Oct 13, 2026被我妈气个半死,打包一个剩菜扣肉回来,现在脚痛风,mdzz
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →