我先联网检索这个 “并行推测解码 + 因果依赖草稿网络” 的最新开源方案。
先说答案:腾讯优图实验室联合上海交通大学、厦门大学提出的 DSpine,已经把并行推测解码做到了新的 SOTA,论文 9 月 28 日挂在 arXiv,代码和模型权重全部开源。它要解决的是并行起草一直绕不过去的矛盾 —— 一次骨干前向同时吐出整块草稿 token,但后面位置在计算时根本不知道前面位置最后会选哪个词,于是每个位置单看概率都合理,拼起来却前后打架,目标模型按从左到右的前缀顺序验证,中间一个衔接失败,后面算好的草稿全部作废,这就是 “后缀衰减”。DSpine 的思路是八个字:同时起草,逐层接力。它不等前一个位置选出离散 token,而是在草稿网络的第 1 层开始,就把前驱位置 “正在形成中的预测特征” 注入给紧邻后继,一层一层往下传,所有位置仍然并行更新;到网络末端选词时,再用转移缓存并行预计算相邻候选组合的分数,用已确定的前驱 token 做条件修正。实测在 Qwen3-8B、温度 0 下,七基准平均接受长度从 DFlash 的 3.77 提到 4.82,涨幅 27.8%;SGLang 服务吞吐较 DFlash 平均高 23.3%,较最强基线 DFlash2 平均高 11.1%,相对标准自回归解码最高 4.01 倍。更关键的是它已经落地在腾讯 WorkBuddy 线上推理业务,不是纸面数字。
为什么并行起草非得往 “深度” 里塞因果,得先看清现有方案卡在哪。
- 等到最后再修,信息就晚了:Domino、DSpark 这类做法把依赖注入放在骨干网络算完之后,用一个轻量串行头或修正分支补前驱信息。后继位置在特征形成阶段完全看不到前驱倾向,等到末端再修,能改的空间已经很小。
- 直接在骨干里混隐状态,信号被污染:DFlash2 用局部卷积混合相邻隐状态,等于把 “上下文信息” 和 “预测信号” 搅在一起,网络分不清哪些是当前词的语境、哪些是前一个词的预测倾向。
- 浅层其实已经有答案:论文对 DFlash 的分析发现,靠前的位置在浅层就已经形成了可恢复的预测,而且相邻前驱越早进入后继,帮助越大。这句话是 DSpine 全部设计的依据。
几代方法的差别,摆在一张表里最直观。
| 方法 | 依赖注入的位置 | 主要问题或改进 |
|---|---|---|
| DFlash | 无(纯并行、各自独立) | 后缀衰减严重,接受长度最短 |
| Domino | 骨干之后的因果修正分支 | 特征形成阶段看不到前驱 |
| DSpark | 骨干之后的轻量串行头 | 同样偏晚,且串行头本身有开销 |
| DFlash2 | 骨干内部局部卷积混合隐状态 | 上下文与预测信号混为一谈 |
| DSpine | 骨干每一层,门控相邻注入 | 因果链沿深度展开,位置仍全并行 |
DSpine 的技术实现可以拆成三个零件,缺一个效果就掉。
| 组件 | 做什么 | 为什么重要 |
|---|---|---|
| 逐层门控相邻注入 | 每层把前驱的预测特征写进后继,用门控决定注入强度 | 让因果条件沿网络深度逐层传递,而不是等到末端补 |
| 统一转移空间 | 用目标模型的输出嵌入构建统一空间,把逐层注入和 “前驱条件解码” 对齐 | 注入的特征和末端选词在同一语义空间里,不会错位 |
| 逐层输出嵌入监督 | 对每一层的输出嵌入做监督 | 逼浅层尽早形成可用的预测特征 |
| 融合算子 + 转移缓存 | 相邻候选组合分数并行预计算 | 把额外开销压到不影响吞吐 |
性能数字分两个层面看,接受长度和服务吞吐都拿了第一,一共 40 组服务测试全胜。
| 评测 | 结果 |
|---|---|
| Qwen3-8B 七基准平均接受长度(温度 0) | 3.77(DFlash)→ 4.82,+27.8% |
| 对最强基线 DFlash2 | 贪心解码领先 10.0%,采样领先 12.8%(对 DSpark) |
| Qwen3-4B 平均接受长度 | 温度 0 为 4.75,温度 1 为 4.38,采样领先 10.1% |
| SGLang 吞吐 vs DFlash | Qwen3-8B 平均 +23.3% |
| SGLang 吞吐 vs DFlash2 | Qwen3-8B 平均 +11.1%,Qwen3-4B 平均 +6.5% |
| SGLang 吞吐 vs DSpark | Qwen3-8B 平均 +19.0%,Qwen3-4B 平均 +20.1% |
| 相对自回归解码 | 最高 4.01 倍(Qwen3-8B) |
| Agent 专用 27B 草稿模型 | SWE-bench Pro、τ²-bench、WorkBuddy Bench 上接受长度最高 5.63,并发 8 时吞吐达自回归 3.84 倍 |
想在自己服务里试,按这六步走,别一上来就压生产。
- 确认底座版本:目标模型选 Qwen3-4B 或 Qwen3-8B,推理引擎用支持 DSpine 的 SGLang 版本,先把标准推测解码跑通。
- 拉代码和权重:从 github.com/tencent/dspine 拿推理代码,Hugging Face 的 tencent/dspine 集合下草稿权重,注意草稿模型和目标模型要配对。
- 调草稿块大小:块太小拿不到并行收益,块太大接受长度掉,按自己的任务分布扫一遍。
- 打开转移缓存:这是末端条件修正的关键,不开等于只做了一半。
- 按并发压测:至少覆盖 2、4、8、16、32 五档并发,看吞吐曲线而不是只看单请求延迟。
- 盯接受长度再上线:吞吐涨了但接受长度掉,说明草稿和目标模型不匹配;先灰度一小部分流量,比对输出一致性再放量。
需要说清楚的边界:DSpine 现在验证的是 Qwen3 系列,换模型要重训草稿;接受长度的提升依赖任务分布,数学、代码、对话三类基准表现好,不代表所有场景都线性收益;论文数字是特定硬件和配置下的结果,实际部署还要算显存和并发成本。它的意义在于把 “并行起草” 这条路补成了能上生产的形态 —— 过去大家知道并行起草快,但接受长度上不去,等于快了个寂寞;DSpine 把因果依赖做成网络结构的一部分,让快和省同时成立。
【常见问题】
问题 1:DSpine 是什么,为什么说它是并行推测解码的 SOTA?
回答 1:DSpine 是腾讯优图实验室、上海交大、厦门大学联合提出的并行推测解码方法,核心是 “同时起草、逐层接力”,在草稿网络每一层把前驱预测特征注入后继,补上并行起草缺失的因果依赖。在 Qwen3-4B 和 Qwen3-8B 上,它的七基准平均接受长度全面第一,Qwen3-8B 温度 0 下从 3.77 提到 4.82;SGLang 服务吞吐较 DFlash 高 23.3%、较 DFlash2 高 11.1%,最高达自回归的 4.01 倍,所以被称为并行推测解码的新 SOTA。
问题 2:推测解码里的 “后缀衰减” 是什么,DSpine 怎么解决因果依赖问题?
回答 2:后缀衰减指并行起草时每个位置独立选词,单看都合理,拼起来前后矛盾;目标模型按前缀顺序验证,中间一个位置被拒,后面所有草稿 token 全废。DSpine 的解法是不等前驱选出离散词,而是在草稿网络第 1 层就把前驱 “正在形成的预测特征” 经门控注入后继,逐层传递,让因果条件沿深度展开;末端再用转移缓存并行预计算相邻候选分数,用已确定的前驱 token 修正。这样所有位置仍然并行,但因果关系不再是盲猜。
问题 3:DSpine 在 SGLang 上最高 4 倍加速,这个数字怎么理解,实际能拿到多少?
回答 3:4.01 倍是相对标准自回归解码的最高值,出现在 Qwen3-8B 的特定任务和并发条件下,属于上限而非平均值。更稳妥的参考是横向对比:SGLang 服务测试里,DSpine 较 DFlash 平均提升 23.3%,较最强基线 DFlash2 平均提升 11.1%,40 组测试全部第一。实际部署收益取决于任务分布、草稿块大小和并发度,建议先在小流量灰度,用接受长度和吞吐两个指标同时验证。
问题 4:DSpine 已经开源,企业想接入需要准备什么,有哪些限制?
回答 4:需要三样东西:支持 DSpine 的 SGLang 版本、与目标模型配对的草稿权重、以及能跑压测的并发环境。代码在 github.com/tencent/dspine,权重在 Hugging Face 的 tencent/dspine 集合。限制也要清楚:目前主要在 Qwen3-4B 和 Qwen3-8B 上验证,换模型要重新训练草稿;数学、代码、对话三类任务收益明显,其他场景未必线性;逐层注入和转移缓存虽有融合算子优化,但仍会占用额外显存和算力。
【参考资料】
- [2026-11-09](并行推测解码 SOTA!因果依赖刻进草稿网络深度,SGLang 吞吐最高达 4 倍,已开源)凤凰网科技(大风号)
- [2026-11-09](DSpine parallel speculative decoding achieves up to 4x SGLang throughput, open-sourced)PicX AI News
- [2026-10-24](More Than DeepInfer: What SGLang Delivers)LMSYS Org
- [2026-09-28](Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding)arXiv
- [2026-06-15](The next generation of speculative decoding: DFlash and Spec V2)LMSYS Org
- [2026-04-17](Speculative Decoding — SGLang 官方文档)SGLang
免责声明:本文依据论文原文、项目开源页面及公开技术报道整理,接受长度、吞吐倍数等均为论文在特定模型、硬件与配置下的实验结果,不同部署环境可能差异明显;DSpine 已开源但版本与兼容性以 GitHub 仓库和 Hugging Face 模型卡为准。文中不构成对任何技术方案的商业推荐或投资建议。
