标签 > 256K 与 16K 的解码成本相差 3.6 到 7 倍：KV Cache 成本结构与上下文压缩实测

在大模型推理实测里，256K 上下文窗口相比 16K，单 token 解码成本会高出 3 6 到 7 倍，这个差距主要来自 KV Cache 带来的内存