Qwen3.6 推理加速：MTP 最终胜出

作者在单张 RTX 3090 Ti 上对 Qwen3.6-27B 进行了三个月推理加速实验，从自回归基线出发，先后测试 DFlash 和 MTP，最终生产环境切换为 MTP。

- DFlash 解码速率随输出长度从 47 tok/s 跌至 30 tok/s，MTP 保持 39-49 tok/s 不变。
- MTP 多 token 预测头集成在目标模型中，无需独立草稿模型，共享 KV 缓存，避免长上下文带宽瓶颈。
- 墙上时间分水岭约 900 token：短输出自回归更快，长输出 MTP 领先（输出 2000 token 比自回归快 16-21 秒）。
- 验证了推测解码在 temp=0 下对自由文本并非完全无损，但工具调用 schema 完整保留。

原文链接

#开发者 #工具
📢 频道：@DevToolboxHub