Fri Jul 24 2026 08:00:00 GMT+0800 (China Standard Time)·2 min readAI Architecture吃透 AI Agent 开发
Loop Engine
流式响应的关键：首 token 之前发生了什么
流式输出不仅是把文本切片返回，还要处理连接、事件、工具调用和中断恢复。
#Streaming#SSE#Agent
用户感知的等待时间，往往发生在模型返回第一个 Token 之前。检索、Prompt 组装、模型排队和工具预处理都可能拖长 TTFT，因此只把最终文本改成流式，并不能解决体验问题。
事件模型
建议把 token、tool_call、tool_result、status、error 和 done 设计成统一事件流。前端根据事件更新状态，后端则可以在事件中带上 traceId、节点名和累计 Token，便于定位“卡住”的阶段。
项目落点
售前咨询使用实时语音和增量输出降低等待感，内容运营 Agent 通过 astream_events 和 ReadableStream 把节点进度传到前端，用户能看到任务在检索、写作还是配图。
结论
流式体验的核心是让系统尽早发出可信状态，而不是单纯追求更快吐字。