您的位置首页 >机器人 >

UIUC 等提出 Ask to Distill,让大模型知识蒸馏从回答问题转向优化提问

UIUC、香港科技大学、德克萨斯农工大学团队推出 Ask to Distill(简称 A2D)蒸馏框架,改变传统知识蒸馏的思路,不再把重心放在让学生模型模仿老师给出的答案,而是训练一个提问生成器,专门产出能最大化提取教师模型监督信号的优质问题,这套方案不需要标准答案、外部标注数据集,在数学推理、代码生成、智能体任务上效果超过不少基线方案,还能做到回答变短、学习信号变多。传统知识蒸馏逻辑很固定,先准备一批现成问题,让大教师模型输出答案,小的学生模型跟着模仿输出分布,问题本身是固定不变的;很多时候普通问题带来的监督信号很稀薄,学生学不到关键点,而且高质量标注问题很难获取,成本很高。A2D 换了思路,把问题本身当成可优化对象,用强化学习训练提问器,打分标准看师生模型之间的预测分歧,同时兼顾兼容度,保证老师的新知识落在学生当前能学习的范围里,还会控制问题长度、多样性,避免生成重复或者无效的问题。

Ask to Distill 核心能力清单

  • 框架名称:Ask to Distill(A2D)
  • 研发单位:UIUC 伊利诺伊大学厄巴纳 - 香槟分校、香港科技大学、德克萨斯农工大学
  • 核心定位:面向在策略蒸馏 OPD 的合成问题优化框架
  • 依赖条件:不需要标准答案、外部标注数据集、额外辅助模型
  • 奖励指标:师生预测分歧度、师生候选兼容度、回答长度约束、问题多样性约束
  • 测试任务:数学推理、代码生成、Agent 智能体任务
  • 实验结论:学生回答长度减少约 20%,获取的有效监督信号提升约 28%
  • 开源情况:代码、数据集已开源

A2D 完整蒸馏运行流程

  1. 固定好教师模型和学生模型,两个模型全程冻结不更新
  2. 初始化提问生成器,以学生模型为起点,用强化学习优化提问策略
  3. 生成器输出候选问题,送入师生模型,计算分歧 + 兼容度的综合奖励
  4. 过滤、去重,把优质问题沉淀成 Prompt 库
  5. 使用这批优化后的问题,执行标准在策略蒸馏,训练学生模型
  6. 循环迭代,持续产出更有价值的提问,缩小师生能力差距

新旧蒸馏方案对比表

方案优化对象是否需要标准答案短板
传统知识蒸馏模型输出答案大多需要标注 / 标准答案普通问题信号弱,优质标注获取成本高
Ask to Distill(A2D)输入的提问本身不需要标准答案增加提问生成器训练开销
普通合成提问蒸馏随机生成问题部分需要校验答案大量无效问题,监督效率低

总的来说,Ask to Distill 最大创新点就是把蒸馏的重心从 “怎么答” 挪到 “怎么问”,靠模型自己学会问出最适合自己补短板的问题,降低蒸馏对高质量标注数据的依赖,提升小模型学习效率。

【常见问题】

问题 1:UIUC 提出的 Ask to Distill,和传统知识蒸馏最大区别是什么?

回答 1:UIUC 提出的 Ask to Distill,传统蒸馏重点是让学生模仿老师的答案,Ask to Distill 重点是优化提问,自动生成能挖掘老师更多监督信号的问题。

问题 2:Ask to Distill 做知识蒸馏,训练过程需要标准答案吗?

回答 2:Ask to Distill 做知识蒸馏不需要标准答案,依靠师生模型预测分布的分歧和兼容度做奖励,不需要外部标注。

问题 3:Ask to Distill 在实验里,给大模型蒸馏带来了哪些量化提升?

回答 3:Ask to Distill 在实验里,学生模型回答长度减少约 20%,同时拿到的有效监督信号提升约 28%,在数学、代码、智能体任务上优于基线方案。

【参考资料】

[2026-11-18](让大模型学会向老师提问:UIUC 等提出 Ask to Distill,让知识蒸馏从「回答问题」走向「优化问题」)机器之心

[2026-10-21](Ask to Distill: Learning to Synthesize Data for On-Policy Distillation)arXiv

[2026-11-18](A2D 框架解读:以提问优化提升大模型蒸馏效率)凤凰网科技

[2026-10-22](Ask to Distill 开源项目介绍)GitHub

【免责声明】

本文 Ask to Distill 相关数据、方案来自论文公开实验结果,不同基座模型、任务场景下的提升效果存在差异;该技术仍属于学术研究阶段,本文内容仅为 AI 技术科普,不构成模型训练方案选型建议。

今日大家都在搜的词: