Project
多模态素材中心与 AI 销售考核
统一管理图片、视频和知识内容，并自动生成销售训练题
项目介绍
围绕商品图、详情和视频搭建统一素材检索与销售考核系统，用 retrieval_text 连接文本、图片和视频，让素材库既能服务客服应答，也能生成训练题和自动评分。
Before
图片、视频和文本素材各自孤立，人工找素材和培训成本高
After
素材可检索、可混排、可生成训练题，内容资产被多个业务复用
关键结果
- 通过 OCR + VLM 补图像描述、ASR + LLM 补视频语义，召回相似度约从 0.38 提升到 0.71
- 长视频按时间戳分段，命中后播放器可直接跳转到对应精彩片段
- 自动出题与五维评分结合，支持人工复核和知识库规模化运营
架构链路
- 素材上传→
- OCR / VLM / ASR→
- 统一向量→
- 跨模态检索→
- 客服 / 考核
技术栈
OCRVLMASRpgvectorPostgreSQLRAG
核心功能
- 三模态向量
- 离线增强
- 视频分段
- 自动出题
- 多维评分
我的职责
- 用统一的 retrieval_text 表达不同媒体能回答的问题，支持跨模态召回
- 使用 OCR、VLM、ASR 和 LLM 对图片及视频做离线增强与描述重写
- 将长视频按时间戳切分，命中后支持播放器直接跳到对应片段
- 基于知识库自动生成分级题目，并从实战性、策略和红线等维度评分