OPD 同策略蒸馏实现无损加速,STOPD 最高可提速 2.2 倍

STOPD 是针对 OPD(同策略蒸馏 On-policy distillation)推出的加速方案,传统 OPD 训练模式需要学生模型完整生成整条回答,教师模型