本地大模型:统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来!
Local LLM - @jinsongzhaocn - UMA 统一内存,GPU 直接访问共享内存池,硬件层面消除显式拷贝,不用软件层手动搬数据。 独立显卡 VRAM + 系统内存分层卸载,模型权重、KV Cache 按需在显存和内存之间动态搬运
@V2EX | v2ex.com • Oct 13, 2026
Post #10993
20

V2 V2EX官方中文频道 @v2ex_channel · 2.13K subscribers 