轻量RAG在SmartQueue中的实践应用

本文介绍作者在 Go 开发的分布式任务队列 SmartQueue 中，用纯 Python 实现的基于 BM25 的检索增强生成（RAG）管线，以替代 ChromaDB 并解决单容器部署问题。
- 知识库仅含 10 份 IT 运维手册，查询时先做正则防注入，再用 BM25 检索取前 4 条作为上下文
- 使用 Groq 提供的 LLaMA 3.3 70B 模型，温度 0.2，最大输出 800 token，并将最近 10 轮对话历史写入 Redis
- 所有 AI 接口均有非 LLM 降级路径：关键词匹配、基于队列深度的规则推荐或模板回复，确保服务在免费 API 额度耗尽时仍可用

原文链接

#开发者 #工具

📢 频道：@DevToolboxHub