您的位置首页 >机器人 >

FlashStates 重构混合状态缓存,混合架构模型跑 Agent 预填充吞吐最高提升 3 倍

FlashStates 推出全新混合状态缓存方案,专门面向混合架构大模型的 Agent 推理场景优化,在编码 Agent 测试负载下对比 vLLM 基线,GLM-5.3-Flash 的预填充吞吐最高提升 3.14 倍,同时还能大幅降低首 token 时延 p90 指标,解决混合模型跑 Agent 时传统缓存机制没法复用循环状态、大量重复预填充拖慢服务速度的痛点。现在很多 Agent 应用都在用混合架构模型,这类模型同时带注意力层和 SSM / 线性注意力层,推理时既要保存 KV 缓存,还要维护独立的循环状态检查点,旧版缓存系统要求检查点必须对齐 KV 块边界,很多 Agent 多轮对话、工具调用的断点位置没法直接存,只能丢弃状态、从头重新预填充,GPU 算力大量浪费;FlashStates 核心新增 ASC 任意状态检查点技术,把循环检查点和 KV 缓存块边界解耦,可以在任意 token 断点保存混合状态,配套感知依赖关系的缓存淘汰策略,把检查点和它依赖的 KV 页绑定成一个整体管理,共享前缀的缓存页不会被随意释放,最大化多轮 Agent 会话的缓存复用率,这套方案基于 vLLM 做扩展,适配 GLM-5.3-Flash、Nemotron 3 Super、Qwen3.8-Flash-Next 多款主流混合模型,在双 B200 显卡环境下完成验证,很适合代码 Agent、工具调用 Agent 这类长上下文多轮交互场景落地。

方案核心信息清单

  • 项目名称:FlashStates
  • 开发团队:Together AI、UIUC、UT Austin
  • 核心技术:ASC 任意状态检查点、依赖感知混合状态缓存管理
  • 基准对比:vLLM
  • 测试硬件:NVIDIA B200,单引擎 2 卡配置
  • 测试负载:AgentX 编码 Agent 工作负载
  • 实测提升:GLM-5.3-Flash 预填充吞吐 3.14 倍;Nemotron 3 Super 2.27 倍;Qwen3.8-Flash-Next 1.54 倍
  • 附带收益:p90 TTFT 最高下降 88%
  • 适配模型:GLM-5.3-Flash、Nemotron 3 Super、Qwen3.8-Flash-Next 等混合架构模型
  • 底层依赖:vLLM、Mooncake 缓存组件
  • 开源协议:Apache 2.0

FlashStates 混合缓存工作原理

传统缓存只能在 KV 块边界保存循环状态,Agent 每一轮工具返回、断点刚好落在块中间时,状态无法留存,只能重跑预填充。FlashStates 的 ASC 技术支持在任意 token 位置捕获循环检查点,并且标记这个检查点依赖哪些 KV 页面;缓存淘汰时采用成本感知策略,一起释放检查点和它独占的 KV 页,多个会话共享的 KV 前缀会保留到最后一个依赖它的会话结束,减少不必要的缓存失效,让 Agent 多轮交互过程里大量前缀可以直接复用。

部署接入步骤

  1. 拉取适配版本 vLLM 和 Mooncake 分支,部署 FlashStates 补丁;
  2. 选定混合架构模型,开启混合状态缓存、ASC 检查点开关;
  3. 配置 GPU 显存、主机内存缓存池大小,设置缓存淘汰权重;
  4. 导入 Agent 业务流量,优先使用编码 Agent 负载做压测;
  5. 采集预填充 TPM、TTFT、缓存命中率指标,调优淘汰策略;
  6. 稳定验证后替换原有推理服务,承接线上 Agent 会话流量。

【常见问题】

问题 1:FlashStates 针对混合架构模型跑 Agent 做了什么优化?

回答 1:FlashStates 重新设计混合状态缓存,引入 ASC 任意状态检查点机制,解除循环状态和 KV 块边界的绑定,搭配依赖感知缓存管理,提升混合架构模型跑 Agent 时的缓存复用率,预填充吞吐最高提升 3 倍。

问题 2:FlashStates 跑混合架构 Agent 模型,相比 vLLM 能带来哪些指标改善?

回答 2:FlashStates 跑混合架构 Agent 模型,在 GLM-5.3-Flash 上预填充吞吐最高达到 vLLM 的 3.14 倍,同时 p90 首 token 时延最高下降 88%,不同混合模型的提升幅度有差异。

问题 3:FlashStates 的 ASC 任意状态检查点技术解决了什么核心痛点?

回答 3:FlashStates 的 ASC 任意状态检查点技术解决混合架构 Agent 推理时,检查点必须对齐 KV 块边界、Agent 断点无法保存状态、频繁触发冗余预填充的痛点。

问题 4:FlashStates 支持哪些混合架构模型跑 Agent 场景?

回答 4:FlashStates 当前验证支持 GLM-5.3-Flash、Nemotron 3 Super、Qwen3.8-Flash-Next 这类混合架构模型跑 Agent 编码负载,基于 vLLM 扩展改造。

【参考资料】

[2026-11-14](FlashStates:混合 LLM Agent 服务中减少前缀缓存重计算)PyTorchKR 社区

[2026-11-10](FlashState: Unlocking Flexible Hybrid State Management for Agentic LLM Serving)arXiv

[2026-11-09](混合架构模型跑 Agent,预填充吞吐再提升 3 倍!FlashStates 重新设计混合状态缓存)机器之心

[2026-11-09](FlashStates 官网介绍:混合状态缓存与 Agent 推理性能)flashstates.ai

【免责声明】

本文内容基于论文、项目官网与行业公开资讯整理,仅作为大模型推理、Agent 服务技术资讯参考;FlashStates 的接入成本、线上稳定性、兼容性、性能收益受模型、并发量、显存配置影响,生产环境落地请以官方源码、论文实测结果为准,不构成推理框架选型、业务改造建议。

今日大家都在搜的词: