通过 LiveKit、Deepgram Nova‑3、Google Gemini 与 Murf Falcon 的组合，构建了一个实时语音学习助手。它能识别用户语音、自然回应、记忆学习者偏好、提供即时练习反馈、在需要时请求人工帮助，并将数学类问题无缝交给专门的 Maths Agent。
- 记忆与个性化：使用 SQLite 存储学习者信息，支持持续更新。
- 交互练习：通过 voice‑based exercises.json 提供练习，评估结果用于跟踪学习效果。
- 人机协作：生成唯一 escalation ID，前端仪表盘实时显示总呼叫、成功与失败。
- 多智能体切换：主助手与 Maths Specialist Agent 之间保持上下文，避免重复提问。
详细实现
• 语音管道：LiveKit → Deepgram Nova‑3 → Google Gemini → Agent Tools / Memory / Specialist → Murf Falcon
• 前端采用 Next.js + React + TypeScript，Tailwind CSS 视觉反馈
• 关键技术：Silero VAD、LiveKit Turn Detector、SQLite、Google Gemini LLM
• 迭代日程：从基础对话、人格设定、前端 UI、语言支持，到人类升级、分析仪表盘、专属代理、完整文档
项目链接
GitHub
#开发者 #工具 #AI语音学习 #LiveKit #Deepgram #GoogleGemini #MurfFalcon #多智能体系统
@DevToolboxHub