Project
Agent 共享集群底座
面向多业务 Agent 的 LLM、RAG、记忆与 Prompt 共享服务
项目介绍
将多个 AI 应用反复建设的模型调用、知识检索、会话记忆和提示词管理抽成共享底座，通过 MCP 和统一网关让业务 Agent 保持轻量、无状态和可独立演进。
Before
每条业务线重复接入模型、知识库和记忆，能力难复用、成本难统计
After
共享底座统一治理，业务只保留场景编排和产品逻辑
关键结果
- LLM、RAG、Memory、Prompt 四类能力通过 MCP Server 统一复用
- 按 project_id 做知识库和配额隔离，Gateway 统一处理认证、路由与 Trace
- 业务 Agent 保持无状态，状态下沉共享服务，支持独立发布与灰度回滚
架构链路
- 业务 Agent→
- Gateway→
- MCP Server→
- RAG / Memory→
- 模型服务
技术栈
FastAPIMCPPostgreSQLViking DBDockerServerless
核心功能
- MCP Server
- LLM 网关
- 多租户 RAG
- 双层记忆
- 配额管理
我的职责
- 拆分 LLM、RAG、Memory 和 Prompt 四类 MCP Server，提供标准化工具和提示词能力
- 设计认证、日志、配额和路由中间件，统一处理 Trace ID 与 Token 计量
- 按 project_id 隔离知识库，并通过 GatewayClient 统一访问共享能力
- 设计用户画像与会话记忆的双层模型，让状态下沉到共享服务