部署qwen3.8 27b,大佬们推荐个版本,dell7920工作站,RTX3090 24G*2,内存128,单卡时候45-50t/s,双卡上下文256k了,速度还是50-60ts没啥提高,这咋办?画个鹧鸪骑自行车,5分钟以上,效果可以。用的q4 kvq8-0,有什么好办法提升速度吗?没有nvlink
Post #523527
51
wind (@wcl2026) 在 想部署qwen3.8 27b,大佬们推荐个版本,dell7920工作站,RTX3090 24G*2,内存128 中发帖