开发者Raghul P在VoiceForBharat挑战赛中，用10天时间构建了Samar——一个面向印度数字银行场景的多语言AI语音助手。项目从简单语音助手起步，逐步演进为具备记忆、实时工具调用、外呼、人工升级、通话分析与专家转接能力的完整语音AI系统。
Samar基于LiveKit实现实时语音通信，使用LLM负责推理对话，语音识别理解用户输入，语音合成由Murf Falcon TTS API驱动。系统流程为：用户语音→语音转文字→LLM/Agent逻辑→记忆或工具调用→文字转语音→用户听到回复。
核心能力：
• 回答银行常见问题
• 提供金融信息
• 经同意后记住回头客
• 实时查询汇率与附近网点
• 主动外呼提醒
• 敏感问题升级人工
• 通话分析看板，以及将专业问题转接给贷款等专项Agent。安全护栏确保不索取PIN
• OTP
• CVV
• 密码等敏感信息
多语言处理是主要挑战：模型能听懂印地语，但语言配置不当会让语音带英语口音。通过配置多语言语音识别、动态语音/区域处理并强制各语言使用原生文字（印地语用天城文、英语用拉丁字母）解决。多语言语音AI需要识别、检测、文字生成与语音合成协同工作。
项目后端使用Python与uv管理依赖，前端基于pnpm构建，运行后访问localhost:3000即可对话。API密钥需存入环境变量，切勿提交至代码仓库。
#开发者 #工具 #Samar #VoiceAI #LiveKit #MurfFalcon #多语言 #语音助手 #银行科技
@DevToolboxHub