徐强

Project

商品交易售前咨询 Agent

结合 RAG、实时语音和多模态素材的智能咨询应用

商品交易售前咨询 Agent screenshot

项目介绍

把微信、WhatsApp 等咨询数据清洗后沉淀为知识库，构建从商品咨询到下单引导的实时 AI 链路，覆盖文本、语音、图片和视频等多种应答方式。

Before

销售依赖人工查资料和组织话术，复杂咨询响应慢且难复用

After

知识库与实时语音协同完成咨询，回答、素材和反馈可以持续回流

关键结果

  • 混合检索结合 Int8 量化，知识库存储空间降低约 75%
  • 轻量 Rerank 和动态权重优化，检索速度提升约 4 倍
  • Prefix Caching / KV Cache 将复杂 RAG 场景 TTFT 从约 15 秒压缩到 2 秒内
  • 在约 50% 丢包环境下，通过 FEC 与自适应 Jitter Buffer 保持语音链路可用

架构链路

  1. 微信 / WhatsApp→
  2. 数据清洗→
  3. RAG 检索→
  4. LLM / Voice→
  5. 图文视频应答

技术栈

RAGHNSW HybridRerankASR / TTSRTCLLM

核心功能

  • 混合检索
  • Metadata 过滤
  • 实时语音
  • 多模态应答
  • 提示词评测

我的职责

  • 设计自定义标识符切片、混合检索和 Metadata 标签过滤，减少语义截断
  • 引入轻量 Rerank 和动态检索权重，改善商品专有名词的命中率
  • 优化 Prefix Caching、KV Cache 和 Max Token 策略，降低复杂问答首字延迟
  • 结合 ASR、TTS、FEC 和自适应 Jitter Buffer，补齐高丢包场景的语音链路
← 全部项目