您的位置首页 >人工智能 >

大模型 API 流式调用实践SSE 分帧解析与重试边界处理方案

做过大模型对话、AI 输出类功能的开发者基本都遇到过流式调用的坑,大模型 API 流式调用大多基于 SSE 协议分片返回文本,一边生成一边推送 token,给用户打字机一样的实时效果,但很多人只简单写了 SSE 接收逻辑,没有处理断连、半包、乱序、部分成功的场景,重试时机和重试边界没设计好,就会出现内容重复、文字丢失、对话上下文错乱、重复调用扣费等问题,流式调用的难点不只是接收 SSE 分帧,而是分清哪些故障可以重试、哪些绝对不能重试,做好边界判断,兼顾用户体验和调用成本。

SSE 分帧容易踩的问题

  1. 缓冲区半包问题
  2. 事件类型混杂
  3. 连接异常时机不确定
  4. 没有记录已接收 token 位置
  5. 缺少幂等和请求标识

网络分片和 SSE 事件帧不是一一对应的,一次网络回调可能只拿到半条 data,直接解析会报格式错误、丢 token。

返回内容里有 data、done、error、ping 心跳包,不区分事件类型,会把心跳当成业务内容展示。

有可能刚建立连接就断,也有可能已经返回一半内容之后断开,两种情况处理逻辑完全不一样。

简单粗暴直接重试,会从头重新生成,前端出现一大段重复文字,还额外消耗 token 费用。

没有 requestId、sequence 序号,分不清是新分片还是重复推送的分片,网络抖动时容易重复渲染。

流式调用完整落地步骤

  1. 开启 API 侧 stream 参数,确认服务端使用 SSE 标准返回,设置合理超时、心跳间隔
  2. 前端 / 后端维护一个缓冲区,持续拼接收到的二进制数据,按\n\n分隔符切分完整 SSE 帧
  3. 解析每一条事件,区分 data 内容分片、结束标识、错误事件、心跳包,过滤 ping 包
  4. 本地记录已经接收并渲染完成的 token 序号或者偏移量,保存当前上下文快照
  5. 定义重试规则:区分可重试错误、不可重试错误、部分成功场景
  6. 可重试场景走断点续传:带上请求标识、已接收偏移,从断点继续拉取,而不是从头重发
  7. 不可重试场景直接终止流,提示用户,不自动重试,避免重复扣费、重复输出
  8. 增加监控埋点:连接建立、分片解析失败、断连、重试次数、token 丢失、重复 token 统计
  9. 增加兜底:超过最大重试次数后,停止自动重试,交给用户手动重新发起对话

重试边界判断对照表

故障场景是否允许自动重试处理方式
连接建立失败、握手超时、502/503允许重试短间隔退避重试,最多 3 次
收到一半 token 后网络断开,服务端支持断点续传允许断点续传带上偏移,续拉,不重置对话
返回 400 参数错误、401 鉴权失败、429 限流不允许重试直接报错,提示用户 / 运维
已经收到 done 结束帧,后续又收到额外分片不允许重试丢弃多余分片,关闭流
解析出业务报错(模型内容拦截、违规)不允许重试关闭流,展示错误信息
心跳包长时间没有收到允许一次重试重建连接尝试续传

简单来说,SSE 分帧负责把大模型一段一段的输出拿下来,重试边界是整套流式调用里最容易被忽略的风控逻辑。SSE 只是传输协议,它不会帮你区分 “一点都没出来” 和 “已经输出一半”,只有把缓冲区、分片解析、偏移记录、重试边界一起做完整,才能做到流式体验流畅,同时防止重复扣费、内容错乱。

【常见问题】

问题 1:大模型 API 流式调用里 SSE 分帧是什么,为什么还要重点关注重试边界?

回答 1:大模型 API 流式调用一般用 SSE 分帧逐片返回 token,实现打字机实时效果;但网络抖动会出现断连、半包,重试边界用来规定哪些故障可以重试、哪些不能重试,防止 SSE 分帧解析异常之后盲目重试造成内容重复、重复扣费。

问题 2:大模型 API 流式调用接收 SSE 分帧的时候,遇到半包数据怎么处理?

回答 2:大模型 API 流式调用解析 SSE 分帧时,需要维护一个接收缓冲区,持续累积二进制数据,等到识别到\n\n分隔符,再切出完整 SSE 事件进行解析,剩余半包数据留在缓冲区等待下一次接收。

问题 3:大模型 API 流式调用,哪些情况属于不能重试的重试边界?

回答 3:大模型 API 流式调用的重试边界里,400 参数错误、401 鉴权失败、内容违规拦截、已经收到 done 结束帧这类场景不能自动重试,强行重试会浪费 token、引发重复输出。

【数据来源】

[2026-11-06](大模型 API 流式调用实践:从 SSE 分帧到重试边界)InfoQ

[2026-10-21](SSE 流式输出、半包解析、断点续传工程方案)掘金

[2026-09-14](LLM 流式 API 错误码、重试策略与幂等设计)阿里云开发者社区

[2026-08-03](Server-Sent Events 在大模型接口中的踩坑总结)知乎

【免责声明】

本文内容仅为大模型 API 流式调用 SSE 分帧和重试边界的工程经验分享,不同厂商大模型 API 对流、断点续传、SSE 返回格式支持不一样,部分接口不支持断点续传。上线前请结合对应厂商文档做充分测试,因重试策略设计不当产生重复扣费、对话错乱、内容丢失等问题,本内容不承担相关责任。

今日大家都在搜的词: