做过大模型对话、AI 输出类功能的开发者基本都遇到过流式调用的坑,大模型 API 流式调用大多基于 SSE 协议分片返回文本,一边生成一边推送 token,给用户打字机一样的实时效果,但很多人只简单写了 SSE 接收逻辑,没有处理断连、半包、乱序、部分成功的场景,重试时机和重试边界没设计好,就会出现内容重复、文字丢失、对话上下文错乱、重复调用扣费等问题,流式调用的难点不只是接收 SSE 分帧,而是分清哪些故障可以重试、哪些绝对不能重试,做好边界判断,兼顾用户体验和调用成本。
SSE 分帧容易踩的问题
- 缓冲区半包问题
- 事件类型混杂
- 连接异常时机不确定
- 没有记录已接收 token 位置
- 缺少幂等和请求标识
网络分片和 SSE 事件帧不是一一对应的,一次网络回调可能只拿到半条 data,直接解析会报格式错误、丢 token。
返回内容里有 data、done、error、ping 心跳包,不区分事件类型,会把心跳当成业务内容展示。
有可能刚建立连接就断,也有可能已经返回一半内容之后断开,两种情况处理逻辑完全不一样。
简单粗暴直接重试,会从头重新生成,前端出现一大段重复文字,还额外消耗 token 费用。
没有 requestId、sequence 序号,分不清是新分片还是重复推送的分片,网络抖动时容易重复渲染。
流式调用完整落地步骤
- 开启 API 侧 stream 参数,确认服务端使用 SSE 标准返回,设置合理超时、心跳间隔
- 前端 / 后端维护一个缓冲区,持续拼接收到的二进制数据,按\n\n分隔符切分完整 SSE 帧
- 解析每一条事件,区分 data 内容分片、结束标识、错误事件、心跳包,过滤 ping 包
- 本地记录已经接收并渲染完成的 token 序号或者偏移量,保存当前上下文快照
- 定义重试规则:区分可重试错误、不可重试错误、部分成功场景
- 可重试场景走断点续传:带上请求标识、已接收偏移,从断点继续拉取,而不是从头重发
- 不可重试场景直接终止流,提示用户,不自动重试,避免重复扣费、重复输出
- 增加监控埋点:连接建立、分片解析失败、断连、重试次数、token 丢失、重复 token 统计
- 增加兜底:超过最大重试次数后,停止自动重试,交给用户手动重新发起对话
重试边界判断对照表
| 故障场景 | 是否允许自动重试 | 处理方式 |
|---|---|---|
| 连接建立失败、握手超时、502/503 | 允许重试 | 短间隔退避重试,最多 3 次 |
| 收到一半 token 后网络断开,服务端支持断点续传 | 允许断点续传 | 带上偏移,续拉,不重置对话 |
| 返回 400 参数错误、401 鉴权失败、429 限流 | 不允许重试 | 直接报错,提示用户 / 运维 |
| 已经收到 done 结束帧,后续又收到额外分片 | 不允许重试 | 丢弃多余分片,关闭流 |
| 解析出业务报错(模型内容拦截、违规) | 不允许重试 | 关闭流,展示错误信息 |
| 心跳包长时间没有收到 | 允许一次重试 | 重建连接尝试续传 |
简单来说,SSE 分帧负责把大模型一段一段的输出拿下来,重试边界是整套流式调用里最容易被忽略的风控逻辑。SSE 只是传输协议,它不会帮你区分 “一点都没出来” 和 “已经输出一半”,只有把缓冲区、分片解析、偏移记录、重试边界一起做完整,才能做到流式体验流畅,同时防止重复扣费、内容错乱。
【常见问题】
问题 1:大模型 API 流式调用里 SSE 分帧是什么,为什么还要重点关注重试边界?
回答 1:大模型 API 流式调用一般用 SSE 分帧逐片返回 token,实现打字机实时效果;但网络抖动会出现断连、半包,重试边界用来规定哪些故障可以重试、哪些不能重试,防止 SSE 分帧解析异常之后盲目重试造成内容重复、重复扣费。
问题 2:大模型 API 流式调用接收 SSE 分帧的时候,遇到半包数据怎么处理?
回答 2:大模型 API 流式调用解析 SSE 分帧时,需要维护一个接收缓冲区,持续累积二进制数据,等到识别到\n\n分隔符,再切出完整 SSE 事件进行解析,剩余半包数据留在缓冲区等待下一次接收。
问题 3:大模型 API 流式调用,哪些情况属于不能重试的重试边界?
回答 3:大模型 API 流式调用的重试边界里,400 参数错误、401 鉴权失败、内容违规拦截、已经收到 done 结束帧这类场景不能自动重试,强行重试会浪费 token、引发重复输出。
【数据来源】
[2026-11-06](大模型 API 流式调用实践:从 SSE 分帧到重试边界)InfoQ
[2026-10-21](SSE 流式输出、半包解析、断点续传工程方案)掘金
[2026-09-14](LLM 流式 API 错误码、重试策略与幂等设计)阿里云开发者社区
[2026-08-03](Server-Sent Events 在大模型接口中的踩坑总结)知乎
【免责声明】
本文内容仅为大模型 API 流式调用 SSE 分帧和重试边界的工程经验分享,不同厂商大模型 API 对流、断点续传、SSE 返回格式支持不一样,部分接口不支持断点续传。上线前请结合对应厂商文档做充分测试,因重试策略设计不当产生重复扣费、对话错乱、内容丢失等问题,本内容不承担相关责任。
