Project
智慧客运语音客服大脑与 Harness 自进化交互系统
端云协同客服大脑：垂直 RAG + 流式语音 + 多分支工作流
项目介绍
面向客运枢纽客服标准不一、退改政策更新频繁、高峰期排队严重的痛点，主导客服机器人大脑的应用侧建设，业务覆盖移动端 App 与站端公共服务终端，重点攻关老年人适老化交互与候车厅强噪声语音识别。
Before
客服口径不一、政策更新频繁，高峰期排队严重且老年旅客难用
After
语音问答 + 多分支工作流闭环，政策改完即时生效
关键结果
- 检索命中率由 72% 提升至 89%，向量存储降低 75%
- 复杂 RAG 首字延迟（TTFT）从 15s 压缩至 2s 内
- 人工盲评风格一致性由 2.1 提升到 4.3（5 分制）
架构链路
- 移动端 / 站端终端→
- 端云语音链路→
- Agent 工作流→
- RAG 检索链→
- 业务库实时查询
技术栈
PythonFastAPILangGraphpgvectorWebSocket / SSEASR / TTSRTC
核心功能
- 端云流式语音
- 适老化交互
- VAD 门控优化
- 双路召回
- Rerank 精排
- Checkpointer 断点恢复
我的职责
- 按语义逻辑切分客规与禁限带名录，构建 BM25 专有名词 + HNSW 稠密向量双路召回，并用 Cross-Encoder Rerank 精排
- 优化端侧 VAD 静音判定与云端 ASR 级联，配合 TTS 语速调优与自适应抗抖动缓冲，弱网下实现会话无感恢复
- 把票务退改、失物招领、特规行李审核升级为 Plan-Execute-Replan 与 ReAct 多分支工作流，联动多模态卡片受控混排
- 合并 System Prompt 消除哈希抖动，触发服务端 Prefix Caching 与 KV Cache 复用压缩首字延迟