针对 Agent 跑长任务时越堆越大的上下文、GPU 显存吃紧、推理变慢成本走高的痛点,新方案允许 Agent 直接上手缩减 KV 缓存,不用改动原始文本,避开传统文本摘要裁剪带来的缓存重算开销。以往大家处理长上下文大多用上下文工程,也就是直接删减或者总结历史对话、工具返回文本,一旦原文改动,前面算好的 KV 缓存直接失效,需要重新走 prefill 编码,增加延迟,而且摘要本身还会丢失细节信息,让 Agent 任务更容易出错。这套缓存工程思路不一样,完整保留全部原始文本,由 Agent 自主判断哪些历史 KV 向量不再需要,直接剔除这部分缓存条目,剩下的 KV 缓存继续复用,不用全部重算。清华和港中文团队配套开源 AKV 推理系统,经过多模型、多 Agent 任务测试,对比传统上下文工程,推理平均成本下降 27.7%,任务成功率还小幅提升 1.7%,适合代码 Agent、多轮工具调用、长文档自主处理这类持续迭代的场景。
传统上下文工程 vs Agent 直接缩 KV 缓存
| 方案 | 操作对象 | 是否改动原文 | 是否需要重算缓存 | 优缺点 |
|---|---|---|---|---|
| 上下文工程(摘要 / 裁剪文本) | 原始 token 文本 | 是 | 大概率需要 prefill 重算 | 容易丢信息、延迟高,实现简单 |
| 缓存工程(AKV 方案) | KV 缓存向量 | 否 | 不需要重算全部缓存 | 显存省、速度更快、信息保留完整,需要底层推理侧适配 |
AKV 缓存工程核心操作能力清单
- Drop:直接丢弃选中冗余 KV 条目,减少后续注意力计算量,释放显存
- Repos:调整 KV 位置编码,适配删减后的序列,保证 RoPE 位置信息稳定
- 缓存状态追踪:Agent 根据当前任务目标,动态评估历史 KV 的重要程度
- 无文本修改:用户看到的全部对话、返回记录原样留存,仅底层缓存精简
- 即插即用:在原有大模型基础上改造推理层,不需要重新训练基座大模型
适合落地的业务场景
- 工具调用 Agent:联网查询、代码执行、函数调用多轮交互任务
- 长文档智能体:长论文、合同、日志持续多轮问答、提取分析
- 自主规划 Agent:需要分步执行、持续记录中间轨迹的复杂任务
- 高并发长会话服务:大量用户长时间对话,控制单会话显存占用
【常见问题】
问题 1:Agent 直接上手缩 KV 缓存解决长上下文问题,KV 缓存到底是什么?
回答 1:KV 缓存是大模型推理时保存每一个 token 的 Key、Value 向量,用来避免反复重复计算,Agent 直接上手缩 KV 缓存就是在不删原文的前提下,清理低价值的 KV 向量,缓解长上下文带来显存爆满、推理变慢的问题。
问题 2:Agent 直接上手缩 KV 缓存,会不会丢失长上下文里面的关键信息?
回答 2:Agent 直接上手缩 KV 缓存这套 AKV 方案不会修改原始文本,只是删掉底层冗余 KV 向量,相比文本摘要裁剪,信息丢失风险更低,Agent 会优先保留对当前任务重要的 KV 缓存。
问题 3:Agent 直接上手缩 KV 缓存的 AKV 系统,现在可以直接拿来商用部署吗?
回答 3:AKV 已经开源,Agent 直接上手缩 KV 缓存的缓存工程思路可以做二次开发,但它属于推理侧底层优化方案,需要适配推理引擎,还需要根据业务 Agent 任务调优缓存淘汰策略,不能开箱直接上线大规模生产业务。
问题 4:同样是压缩 KV,Agent 自主裁剪 KV 缓存和常见 KV 量化、静态剪 KV 有什么区别?
回答 4:普通 KV 量化、静态剪 KV 是固定规则压缩;Agent 直接上手缩 KV 缓存是由 Agent 结合当前任务动态判断哪些缓存可以删掉,适配不同任务的上下文依赖,灵活性更强,适配 Agent 这种多步骤动态任务。
【参考资料】
[2026-11-17](还在苦恼「长上下文」?Agent 直接上手缩 KV 缓存)新浪财经
[2026-11-17](清华港中文团队开源 AKV,提出面向 Agent 的缓存工程)机器之心
[2026-11-17](Cache Engineering:Agent 可控 KV 缓存管理论文解读)Hugging Face 社区
【免责声明】
本文为 AI 技术科普资讯,Agent 直接上手缩 KV 缓存属于前沿研究方案,实际收益、稳定性和任务效果受基座模型、Agent 类型、缓存淘汰策略影响;AKV 开源项目的适配难度、性能指标以项目仓库、论文原文为准,本文不构成线上服务落地选型建议。
