KTransformers团队宣布支持DeepSeek-R1和V3模型，支持在单GPU（24GBVRAM）或多GPU和382GBDRAM的环境下运行。通过优化，实现了高达3~28倍的速度提升。提供了本地运行的示例，展示了如何在桌面环境中实现类似GPT-4的性能。

测试环境：
CPU：IntelXeonGold6454S（32核心/插槽，2插槽，2NUMA节点）
GPU：4090D（24GBVRAM）
内存：1TBDDR5-4800服务器DRAM
性能结果：
Prefill速度：最高可达97.32tokens/s
Decode速度：最高可达13.69tokens/s
相比llama.cpp，Prefill速度提升高达9.44倍，Decode速度提升3.03倍。

#AI
https://kvcache-ai.github.io/ktransformers/en/DeepseekR1_V3_tutorial.html