llmfit 是一个终端工具，用来帮你判断哪些本地大模型能在自己的硬件上跑得动。它会检测你的内存、CPU 和 GPU，然后从质量、速度、适配度和上下文四个维度给模型打分，告诉你哪些模型在你的机器上真正可用。默认提供交互式 TUI，也保留经典 CLI 模式，支持多 GPU、MoE 架构、动态量化选择，以及 Ollama、llama.cpp、MLX、LM Studio 等本地运行时。
这次更新的重点是实测基准功能：你可以下载模型、本地跑起来，测出真实的 tok/s 和 TTFT，然后把结果直接通过 TUI 提交 PR 回项目，不需要 gh CLI 或第三方账号。每次测量先保存在本地，你的数据会替换掉估算值，合并后随下个版本发布——相同硬件配置的用户在跑基准前就能看到实测数字。此前 1.0 版本已让数字变得可验证，这次是把社区共享机制补全。
对本地跑模型的开发者来说，这个功能解决了"估算不准"的痛点：与其看通用估算，不如直接参考同配置硬件上的真实测量结果。项目采用 MIT 许可，Windows 发布版带 Authenticode 签名。
GitHub
#GitHub #开源 #llmfit #大模型 #本地推理 #LLM #终端工具 #基准测试
@GitHubTrendingHub