在多模型路由、AI Agent 串联的业务里面，大模型读完长上下文之后交给另一款异构模型接手，传统方案必须重新跑一遍 Prefill、从头生成整套 KV Cache，重复计算拉高首 token 延迟、吃掉 GPU 算力。北大 PKU‑DAIR 苗旭鹏团队提出 MapFlow，不走跨模型转译 KV 的老路，直接复用注意力图，依靠轻量映射、稀疏压缩、融合内核，在不明显损伤生成质量的前提下降低 Prefill 开销，适合长上下文多模型交接场景，论文已经被 SIGMOD 2027 录用，配套代码开源。常规前缀缓存只支持同模型复用，因为 KV 和层数、头数、维度、RoPE 强绑定，异构模型之间很难迁移；而注意力图记录 Token 和 Token 的依赖权重，语义结构跨模型通用性更强，这就是这套方案的核心思路。
- MapFlow 核心指标与模块汇总表
| 项目 | 详情说明 |
|---|---|
| 论文全称 | Accelerating Cross-Model LLM Inference via Attention Map Reuse |
| 提出单位 | 北京大学数据与智能实验室 PKU‑DAIR |
| 核心思路 | 复用注意力图（Attention Map）替代跨模型迁移 KV Cache |
| 核心组件 | 层 / 头轻量线性映射、部分重算、块级稀疏压缩、融合检索 GPU Kernel |
| 实测收益 | Prefill 延迟下降 15%–20%；多轮路由同等 P90 TTFT 约束下吞吐量最高提升 25% |
| 适用场景 | 异构模型接力、Agent 链式调用、长文档多模型分工、动态路由服务 |
| 约束 | 不是完全跳过计算，保留少量局部重算用来对齐精度；超长上下文依赖稀疏压缩控显存 |
| 开源信息 | 代码托管于 GitHub，arXiv:2610.14688 |
- 技术拆解与运行流程
轻量线性映射负责把源模型不同头、不同层输出的注意力权重，变换到目标模型的注意力头空间，映射参数体量很小，训练成本低，不需要大规模微调基础大模型。为了防止映射带来效果漂移，MapFlow 采用 “复用 + 局部重算” 混合策略，高敏感位置重新计算，其余位置直接复用映射后的注意力，在速度和输出质量之间做平衡，避免单纯映射造成语义偏差。
针对超长上下文，如果直接保存完整注意力图显存压力巨大，方案引入基于 Top‑P 的块稀疏压缩，以块稀疏行格式存储，只保留高权重依赖；同时配套融合检索内核，减少内存读写，让长序列场景落地可行。整套系统不需要改动基座大模型权重，属于推理侧服务层方案，可以接入现有的推理引擎做二次开发。
典型业务链路是：源模型处理长上下文，输出并压缩注意力图；调度器切换任务到目标异构模型；MapFlow 加载注意力图，经过线性映射；目标模型只对关键片段局部重算，不再全量 Prefill；最后正常解码输出。
- 落地部署实操步骤
- 评估业务负载，如果是短上下文、很少跨模型接力，MapFlow 收益有限；优先给长前缀、频繁在强弱模型之间切换的 Agent、检索增强场景做测试。
- 拉取官方开源代码，在推理引擎侧接入，选定需要对接的异构模型对，完成注意力头与层映射的校准。
- 配置稀疏压缩阈值，根据显存上限调整保留比例；阈值越高精度越好、显存开销越大。
- 在压测环境对比基线，采集 Prefill 延迟、TTFT、吞吐、问答 / 摘要指标，确认生成质量没有明显下滑。
- 线上灰度，先路由低风险流量；同时增加监控，追踪映射带来的输出漂移，一旦出现效果下降自动回退到原生全量 Prefill。
- 和已有缓存体系搭配使用：同模型走传统前缀缓存，跨模型交接启用 MapFlow。
- 对比同类方案与风险提示
市面上不少研究尝试直接把源模型 KV 做线性变换迁移到目标模型，缺点是对模型结构约束很强，层数、头数差异大的时候误差快速累积；MapFlow 迁移的是依赖关系，适配异构模型的范围更广，但依然会存在轻微精度损失。它不能彻底消灭 Prefill，只是削减大部分重复工作量；极端复杂推理、高精度场景下，业务依然可以选择关闭复用，全量重算保证稳定性。另外稀疏压缩策略需要根据任务调参，如果压缩太狠，长距离依赖会丢失，造成事实错误。
只要业务本身是多模型接力、上下文长、对延迟敏感，并且可以接受可控范围内的微小质量波动，MapFlow 就能降低推理集群的算力消耗。
【常见问题】
问题 1：北大 MapFlow 和跨模型迁移 KV Cache 的方案差别在哪？
回答 1：跨模型 KV 迁移尝试把 Key/Value 张量映射，受模型结构限制很大；MapFlow 选择复用注意力图，也就是 Token 之间的依赖权重，跨异构模型迁移能力更强，搭配局部重算控制精度漂移。
问题 2：MapFlow 是否可以完全取消跨模型交接时的 Prefill？
回答 2：不行，MapFlow 会复用大部分注意力依赖，但保留局部片段的部分重算，用来对齐目标模型表征，并不是零计算切换。
问题 3：MapFlow 的实测提速效果是什么水平？
回答 3：在论文测试里，MapFlow 可以降低 Prefill 延迟 15%–20%；在多轮对话路由场景，维持同样首 token 延迟上限，最高把吞吐量拉高 25%。
问题 4：使用 MapFlow 需要重新微调大模型吗？
回答 4：不需要改动基座大模型权重，它属于推理服务层面的系统方案，只需要训练轻量的线性映射层，接入现有推理引擎即可。
【参考资料】
[2026-10-14]（MapFlow 论文发布，arXiv:2610.14688）arXiv
[2026-10-14]（MapFlow：跨模型注意力复用加速 LLM 服务）沙丘社区
[2026-11-08]（北大 MapFlow 技术报道，SIGMOD 2027 录用）新浪财经
[2026-10-10]（MapFlow 项目主页与开源仓库）GitHub PKU‑DAIR
免责声明
本文介绍的 MapFlow 属于前沿学术研究方案，线上生产部署仍需要充分压测；提速幅度、精度漂移会随模型配对、上下文长度、压缩策略变化，不代表接入之后一定达到论文标称指标，本文不构成推理集群改造落地承诺。