STOPD 是针对 OPD(同策略蒸馏 On-policy distillation)推出的加速方案,传统 OPD 训练模式需要学生模型完整生成整条回答,教师模型对每一个 token 做反馈,长文本场景下算力开销巨大,而 STOPD 采用提前随机截断生成轨迹、搭配分块逆概率加权 IPW 修正偏差的思路,不用额外模型判断回答好坏,在模型精度基本持平原版 OPD 的前提下,减少 25%~48% 的生成 token 量,不同任务提速区间在 1.3 倍到 2.2 倍,代码任务场景拿到最高 2.2 倍加速效果,论文同时在数学、指令跟随等任务、SGD/Adam/Muon 多种优化器上完成验证,理论上证明加权后的梯度期望和完整轨迹 OPD 保持一致,不会带来蒸馏效果损失。
一、STOPD 核心原理清单
- 提前采样停止位置:每条生成轨迹开始之前,随机确定截断点位,学生模型生成到该位置就停止,不用生成完整答案。
- 分块逆概率加权 IPW:用来补偿随机截断带来的采样偏差,保证梯度期望等价于完整 rollout。
- 无额外判别模块:不需要单独打分、不需要额外模型评估回答质量,逻辑简单、附加开销很低。
- 理论保障:推导出 SGD、Adam、Muon 优化器下的更新误差边界,从数学层面支撑无损结论。
二、不同任务实测效果简表
| 任务类型 | 加速倍数 | Token 削减比例 | 说明 |
|---|---|---|---|
| 代码任务 | 最高 2.2 倍 | 48% | 本次方案最优场景,收益最明显 |
| 数学任务 | 约 1.6 倍 | 35% | 推理类长文本有稳定提速 |
| 指令跟随 | 最低 1.3 倍 | 25% | 短指令场景收益相对有限 |
三、传统 OPD 和 STOPD 流程对比
原版 Vanilla OPD 流程
- 学生模型完整生成整条回答序列
- 教师模型逐 token 打分、输出反馈信号
- 全部 token 参与梯度计算,更新学生模型
- 缺点:越长的回答,算力消耗越高,训练成本高
STOPD 训练流程
- 生成前为单条轨迹随机选定停止位置
- 学生生成到停止点直接终止 rollout
- 教师对已经生成的 token 做反馈
- 使用分块逆概率加权修正梯度偏差
- 完成参数更新,进入下一轮
四、适用范围与局限说明
- 适配师生蒸馏架构:测试覆盖 1.7B~8B 学生模型、4B~30B 教师模型,包含 Qwen 系列。
- 兼容主流优化器:AdamW、SGD、Muon 都可以直接搭配使用,不用改动优化器底层。
- 局限 1:属于随机截断,不是自适应智能截断,和 Flash-OPD 这类按内容可靠性停止的方案路线不一样。
- 局限 2:加速上限受任务本身的文本长度分布影响,短问答任务提速空间偏小。
- 局限 3:无损是统计期望层面的精度持平,单步训练存在小幅波动,加大 batch 可以削弱波动。
五、同类 OPD 加速方案简单区分
- STOPD:随机位置截断 + IPW 加权,实现简单,不需要在线判断内容好坏
- Flash-OPD:按师生兼容事件自适应停止,上限加速更高(2.2~7.5 倍),逻辑更复杂
- STRIDE:面向多轮 Agent 场景的自适应停止,主打智能体长对话蒸馏
【常见问题】
问题 1:OPD 训练也能无损加速,STOPD 最高加速 2.2 倍,这里的无损是什么意思?
回答 1:OPD 训练也能无损加速,STOPD 最高加速 2.2 倍,无损指在期望层面蒸馏梯度和原版完整 OPD 等价,最终模型准确率、蒸馏损失和原版 OPD 接近,不会因为提前截断出现明显效果下滑,不是单步完全没有任何数值波动。
问题 2:OPD 训练也能无损加速,STOPD 最高加速 2.2 倍,STOPD 靠什么消除截断带来的偏差?
回答 2:OPD 训练也能无损加速,STOPD 最高加速 2.2 倍,依靠分块逆概率加权 IPW 对提前截断的样本做权重补偿,修正因为部分轨迹没有生成完整带来的采样偏差,保证梯度期望不变。
问题 3:OPD 训练也能无损加速,STOPD 最高加速 2.2 倍,哪些任务上 STOPD 提速效果最好?
回答 3:OPD 训练也能无损加速,STOPD 最高加速 2.2 倍,代码任务收益最高,能做到 2.2 倍加速、token 减少 48%;数学推理次之,指令跟随这类短任务加速最低只有 1.3 倍。
问题 4:OPD 训练也能无损加速,STOPD 最高加速 2.2 倍,STOPD 和 Flash-OPD 是同一个方案吗?
回答 4:OPD 训练也能无损加速,STOPD 最高加速 2.2 倍,二者不是同一个方案;STOPD 是生成前随机选停止点,Flash-OPD 是根据师生匹配信号自适应判断停止时机,Flash-OPD 加速上限更高、实现复杂度更高。
【参考资料】
[2026-11-19](OPD 训练也能无损加速?STOPD 最高加速 2.2 倍!)新浪财经
[2026-10-15](Does On-Policy Distillation Need to Complete Every Rollout?)arXiv
[2026-11-19](OPD 同策略蒸馏新加速方案 STOPD 解读)机器之心
[2026-10-16](同策略蒸馏是否需要完成每条轨迹?)沙丘社区
【免责声明】
以上 STOPD 加速 OPD 蒸馏内容基于 arXiv 论文、科技媒体公开解读整理;该方案为学术研究成果,在不同模型基座、数据集、batch 配置下加速效果和精度表现存在差异;本文仅为 AI 技术资讯解读,不构成训练工程落地、模型蒸馏选型的直接指导。
