您的位置首页 >人工智能 >

FlashStates 重构混合状态管理,混合架构模型跑 Agent 预填充吞吐最高提升 3 倍

FlashStates 是面向 Agent 场景的推理服务优化方案,专门针对 SSM+Attention 混合架构大模型的状态复用痛点重新设计混合状态机制,在编码 Agent 测试负载下,对比基准 vLLM,GLM-5.3-Flash 的预填充吞吐最高提升至 3.14 倍,也就是大家常说的提升 3 倍左右,同时还能压低首 token 延迟 P90 分位,它解决了老缓存方案的硬限制:混合模型既要保存循环状态检查点、又要配套对应的 KV 缓存,旧系统只能按 KV 块边界做检查点,位置卡得很死,很多 Agent 多轮交互场景没法精细复用上下文,每次轮次都要重复跑预填充,吃掉大量算力。FlashStates 的核心创新是 ASC 任意状态检查点技术,把循环状态保存位置和 KV 缓存块边界解耦,能在任意 token 位置打状态快照,再搭配依赖感知的混合状态回收策略,把检查点和它绑定的 KV 页面当成一个整体调度,共享 KV 页面会等到最后一个依赖它的状态淘汰之后才释放,减少不必要的重算,这套方案属于 vLLM 的扩展改造,适配 GLM-5.3-Flash、Nemotron 3 Super、Qwen3.8-Flash-Next 这类主流混合架构模型,在 NVIDIA B200 显卡上完成验证,非常适合代码 Agent、长会话工具调用这类来回轮次、上下文长的 Agent 业务。

一、测试基准与提升效果对照表

测试模型对比 vLLM 预填充吞吐提升解码吞吐提升测试硬件
GLM-5.3-Flash3.14 倍(约 3 倍)3.02 倍NVIDIA B200
Nemotron 3 Super2.27 倍1.81 倍NVIDIA B200
Qwen3.8-Flash-Next1.54 倍1.32 倍NVIDIA B200

二、FlashStates 两大核心技术机制

  1. ASC 任意状态检查点(Arbitrary State Checkpointing)
  2. 依赖感知在线混合状态调度策略

不再强制对齐 KV 缓存块边界,在 Agent 每一轮交互结束的任意 token 位置,直接导出循环状态检查点,不改动原有 KV 分块逻辑,推理输出结果保持完全一致,下一轮 Agent 恢复的时候直接加载这个精准位置的状态,不用从头重跑前面上下文。

把 “循环检查点 + 绑定 KV 缓存” 作为不可拆分的混合状态单元;系统会做内存约束下的优化,优先保留收益高、减少重算多的状态,淘汰时只释放当前状态独占的 KV 页,被多个会话共享的 KV 页不会随便清理,提升缓存命中率。

三、它解决混合架构 Agent 推理的哪些老问题

  • 原有前缀缓存对混合 SSM 模型适配差,SSM 循环状态和 KV 缓存绑定卡死,只能粗粒度缓存
  • Agent 多轮调用、频繁调用工具之后,会话断点往往落在 KV 块中间,没法保存状态,只能全量重预填充
  • 盲目保存大量检查点会撑爆显存,旧方案要么缓存利用率低,要么频繁 OOM
  • 首 token 延迟抖动大,并发 Agent 会话变多之后 TTFT 长尾延迟明显拉高

四、适配场景和限制清单

✅ 适合场景:代码 Agent、多轮工具调用 Agent、长上下文对话 Agent、需要频繁暂停恢复会话的推理服务

⚠️ 限制说明:

  • 原生面向 SSM+Attention 混合架构模型,纯 Transformer 模型收益很小
  • 目前基于 vLLM 做扩展,需要改造推理后端,不是开箱即用插件
  • 性能增益高度依赖业务的会话断点分布、上下文复用率,短单轮请求提升有限

【常见问题】

问题 1:FlashStates 跑混合架构 Agent,预填充吞吐相比 vLLM 能提升多少?

回答 1:FlashStates 跑混合架构 Agent,在 GLM-5.3-Flash 编码 Agent 负载下预填充吞吐最高提升 3.14 倍,也就是常说的提升 3 倍,不同混合模型提升幅度不一样。

问题 2:FlashStates 重新设计混合状态,核心的 ASC 任意状态检查点是干什么的?

回答 2:FlashStates 重新设计混合状态,ASC 任意状态检查点可以把循环状态保存位置和 KV 缓存块边界解耦,在任意 token 断点保存 Agent 会话状态,避免每次 Agent 轮次都重复预填充。

问题 3:FlashStates 这套混合状态优化,对纯 Transformer 大模型推理也能拿到 3 倍吞吐提升吗?

回答 3:FlashStates 这套混合状态优化专门针对 SSM+Attention 混合架构模型设计,对纯 Transformer 模型几乎没有明显收益,没法实现预填充吞吐提升 3 倍的效果。

【参考资料】

[2026-11-14](FlashStates:面向 Agent 混合大模型,预填充吞吐最高 3.14 倍)机器之心

[2026-11-10](FlashState: Unlocking Flexible Hybrid State Management for Agentic LLM Serving)arXiv

[2026-11-10](混合架构 Agent 推理新方案 FlashStates,打破 KV 块缓存限制)InfoQ

[2026-11-10](FlashStates 官网技术说明:混合状态复用与 Agent 负载评测)flashstates.ai

【免责声明】

本文内容基于 arXiv 论文、技术社区公开测试数据整理,FlashStates 属于研究阶段推理优化方案,提升倍数是特定编码 Agent 负载、B200 显卡环境下的实测结果;实际业务吞吐受模型、并发量、上下文复用率、显卡型号影响,不代表线上生产环境一定能达到 3 倍提升,本文不构成推理框架选型、业务部署决策建议。

今日大家都在搜的词: