您的位置首页 >科技要闻 >

Agent 上下文压缩时机解析 不必等到窗口快要占满再执行压缩

Agent 的上下文压缩并不是必须等到 token 窗口快要满了才触发,行业主流方案分成提前阈值触发、按执行步数触发、临近上限兜底压缩三类,只在快要溢出时才压缩属于兜底策略,风险偏高;很多成熟 Agent 框架会设置两级触发机制,比如 Hermes Agent 设置 50% 窗口占比作为前置压缩线,85% 作为紧急兜底线,优先清理冗余工具返回结果,再做历史摘要,兼顾缓存效率、信息留存和成本,不同任务类型、不同模型窗口大小,压缩触发时机也需要单独调参。大家会纠结要不要等到快满再压缩,核心矛盾来自压缩本身存在开销:压缩会调用模型生成摘要,增加延迟和 token 成本,同时压缩会改动上下文前缀,直接废掉 Prompt Cache 缓存,缓存失效之后推理速度变慢、费用上涨;但如果一直不提前处理,等到 90%、95% 才压缩,一旦工具连续返回大量文本,很容易直接溢出窗口,造成消息截断、任务中断,长周期代码 Agent、科研 Agent 尤其容易踩坑,这类任务里工具返回的原始数据往往是上下文膨胀的主要来源。落地 Agent 上下文压缩,可以按分层处理流程来搭建,第一步每一轮 Agent 执行结束后统计当前 token 占用比例;第二步优先执行低成本无损压缩,清理已经失效、不需要二次读取的工具返回内容,这个步骤不需要调用大模型;第三步检查 token 占比,如果达到预设前置阈值,启动摘要压缩,保留系统提示、原始目标、最近 N 轮对话原文,把更早的历史提炼结构化摘要;第四步如果持续上涨到高阈值兜底线,执行更激进的压缩或者滑动窗口丢弃;第五步把压缩记录、摘要存档,支持后续回溯原始记录。整体来看,临近窗口占满压缩适合短会话、简单问答类 Agent;长周期、多工具调用的 Agent 更适合提前分层压缩,把 “快满压缩” 当成最后一道保险,而不是唯一的压缩时机,压缩时机的选择本质是在缓存收益、推理成本、信息丢失风险三者之间做权衡。

三种主流压缩触发方式对比

触发类型触发规则优势短板适合场景
临近上限触发(快满才压)token 占比 85%-95% 才启动压缩次数少,缓存命中率高,压缩开销低容易突发溢出、任务中断,风险高简短对话、少工具调用的轻量 Agent
提前阈值触发固定比例(50%/60%)触发,分级压缩提前释放空间,稳定性强压缩次数变多,更容易破坏缓存代码 Agent、科研 Agent、长任务 Agent
按步数定时触发每执行 N 轮工具调用自动压缩不受 token 波动影响,可控性强token 少的时候做无效压缩,浪费成本固定流程、高频调用工具的自动化 Agent

分层压缩执行清单(优先低成本操作)

  1. 无损清理:删除过期、可重读的工具返回、重复搜索结果,不调用 LLM
  2. 摘要压缩:提炼中间历史,保留计划、决策理由、约束条件,保留最近对话原文
  3. 滑动窗口:超出预算时丢弃最早交互记录
  4. 兜底截断:窗口即将溢出时的最后应急手段

压缩时机调参参考

  • 长窗口大模型、代码 Agent:前置阈值 50%~60%,兜底阈值 85%
  • 短窗口模型、轻量问答 Agent:前置阈值 75%,兜底阈值 90%
  • 高频工具调用场景:搭配按步数触发作为补充机制

【常见问题】

问题 1:Agent 上下文压缩一定要等快满了再压缩吗?

回答 1:Agent 上下文压缩不一定要等快满了再压缩,临近占满压缩只是兜底方案,长任务 Agent 推荐设置较低阈值提前分层压缩,避免上下文溢出。

问题 2:Agent 提前做上下文压缩会带来哪些代价?

回答 2:Agent 提前做上下文压缩会增加摘要调用带来的 token 开销与延迟,并且修改上下文前缀,造成 Prompt Cache 失效,推理成本上升。

问题 3:针对 Agent 上下文压缩时机,Hermes Agent 采用什么样的方案?

回答 3:Hermes Agent 针对 Agent 上下文压缩时机采用双阈值方案,默认 50% 占比前置压缩,85% 占比网关兜底压缩,优先清理冗余工具结果。

问题 4:什么样的 Agent 适合等到上下文快满再压缩?

回答 4:短会话、工具调用很少的轻量问答 Agent 适合等到上下文快满再压缩,减少压缩次数,保住 Prompt Cache 收益。

【参考资料】

[2026-11-14](刚说好别动这个文件,Agent 怎么又改了?聊聊上下文压缩)阿里云开发者社区

[2026-11-14](刚说好别动这个文件,Agent 怎么又改了?聊聊上下文压缩)腾讯云开发者社区

[2026-09-20](BEYOND TOKEN SAVINGS: A SYSTEMATIC STUDY OF CONTEXT COMPRESSION IN LLM AGENTS)arXiv

【免责声明】

以上内容仅为 Agent 技术方案科普整理,不构成开发落地标准;Agent 上下文压缩效果和模型种类、任务类型、缓存策略强相关,压缩策略上线前建议充分压测,压缩操作存在丢失关键历史信息、导致 Agent 任务跑偏的风险。

今日大家都在搜的词: