Project
「云枢」客运数据治理中枢与统一大模型网关
多源会话数据清洗脱敏、客流预测与集团模型网关治理
项目介绍
沉淀客服系统多轮对话、站端预警事件与售票流水等异构数据，构建统一清洗与标准化治理中枢；基于沉淀数据向景区与枢纽提供节假日客流峰值与票务筹备预测服务，并纳管集团各业务线的大模型调用网关，让上层应用与底层基础设施解耦。
Before
各业务线各自接模型、数据散落，成本与效果都难统计
After
数据与模型调用收敛到中枢，配额、路由与效果都可度量
关键结果
- 正则 + NER 多层脱敏准确率 98%，沉淀万级微调样本与 RAG 规程资产
- 支持 Alpaca / ShareGPT / JSONL 多格式导出，形成线上 Badcase 回流的数据飞轮
架构链路
- 多源异构数据→
- 清洗脱敏流水线→
- 标准样本 / RAG 资产→
- 客流预测服务→
- 统一模型网关
技术栈
PythonPostgreSQLETL正则 / NERLLM GatewayTrace
核心功能
- 多源清洗脱敏
- 训练数据导出
- 数据飞轮
- 客流态势预测
- 虚拟密钥体系
- 动态路由与计量
我的职责
- 设计时间窗口分句与正则 / NER 多层脱敏流水线，剥离无效寒暄并沉淀高质量微调样本
- 构建自动化数据导出管线，支持 Alpaca / ShareGPT / JSONL 等训练格式与 Badcase 自动归流
- 整合售票意向、历史出行规律与现场过闸热度构建客流分析模型，输出节假日运力与票务预测
- 搭建集团统一大模型网关：虚拟密钥、配额上限、动态路由分级与全链路 Trace 计量