[问与答] H100*2 本地部署大模型求助
手里有两块 H100 96G 版，用的 AMD 平台，128G DDR5 内存。
目前使用 vLLM 部署的 qwen3.8 27B 感觉有点大材小用，求推荐更合适的模型。
主要用途： 1.本地 agent 调用 2.部分编码工作 3.rag 问答
Post #238193
1
- Oct 15, 2026[程序员] claude 今天被封了，戒断反应很难受 用了近 1 年的 MAX 了，突然就被封了。 被迫使用 ChatGPT ，戒断反应太难受了。 ChatGPT 的 APP 太卡…
- Oct 15, 2026[问与答] 新人第一次用反重力遇到问题求解 https://i.mji.rip/2026/10/15/f5323d83c72839e14313fd4cbf1bffa8.png 求问…
- Oct 15, 2026[汽车] [懂车帝 & 尊界] 这事情来后续了——回复这个帖子 以下是个人看法： 懂车帝爆出来的事情，对普通人来说，是件好事，可以避坑。 后续懂车帝被** [北美花生就是我] **…
- Oct 15, 2026[程序员] Deepseek 的赔偿方案出来了， 247 元，快去看看你的有没有到账 10 月 15 日 13:04 ，DeepSeek 网页及 API 服务在经历近 5 小时故障…
- Oct 15, 2026[问与答] claude kyc 现在可以使用护照认证吗？ 可以使用中国护照吗，能否通过？
- Oct 15, 2026[程序员] APP 会消失了吗？ Agent 是否也有无法取代的场景 现在 APP 会消失的言论很火， 但是我觉得很多场景用 Agent 无法实现吧？ 比如社交场景，yp 社交这些…