UIUC 联合研究团队提出名为 Ask to Distill 的全新知识蒸馏方案,打破传统知识蒸馏只让学生模型回答固定问题的模式,改成学生大模型主动向 “老师模型” 自主提问,通过挑选、生成、优化问题来获取高质量知识,大幅提升小模型的蒸馏效果。传统知识蒸馏大多预先准备一批固定数据集,让老师模型输出答案给学生学习,问题质量提前锁定,很多低价值问题会拖累训练效率;而 Ask to Distill 允许学生模型主动设计问题,优先问那些自己薄弱、信息增益最高的问题,不再被动接收固定样本。这套方法不用大规模标注数据集,减少数据成本,在多个推理、问答基准测试上,同等模型规模下效果优于常规蒸馏方案。下面整理传统蒸馏与 Ask to Distill 对比、核心流程、优势和适用限制。
传统知识蒸馏 vs Ask to Distill 方案对比表
| 项目 | 传统知识蒸馏 | Ask to Distill(新方案) |
|---|---|---|
| 问题来源 | 提前固定数据集,人工 / 预先生成问题 | 学生模型自主生成、筛选优化问题 |
| 学习逻辑 | 学生学习老师给出的答案 | 学生主动提问,获取高价值知识 |
| 数据特点 | 大量样本,包含很多低价值样本 | 精简高增益问题,减少无效训练 |
| 核心目标 | 复刻老师的输出结果 | 优化提问,挖掘模型知识盲区 |
Ask to Distill 完整工作流程
- 学生模型评估自身知识短板,识别自己不确定、容易出错的任务领域
- 学生自主生成候选问题集合,过滤重复、无信息量的劣质问题
- 将筛选后的问题提交给老师大模型,获取对应的答案与推理过程
- 利用问答对完成蒸馏训练,更新学生模型权重
- 迭代循环,持续生成新问题,不断补齐模型知识缺口
Ask to Distill 核心优势清单
- 减少对大规模标注数据集依赖,降低数据采集成本
- 聚焦模型薄弱点,训练资源全部投入高价值知识
- 小尺寸学生模型在推理、逻辑任务上的性能提升明显
- 支持迭代式学习,随着训练持续优化提问策略
方案局限性
- 学生模型提问质量会影响蒸馏效果,如果生成的问题质量差,收益会明显下降
- 训练过程需要多次调用大尺寸老师模型,整体训练算力开销有所增加
- 目前属于学术研究方案,还没有大规模落地到商用大模型产品
【常见问题】
问题 1:UIUC 等提出的 Ask to Distill 是什么,和传统知识蒸馏最大差别在哪?
回答 1:UIUC 等提出的 Ask to Distill 是全新知识蒸馏方法,传统知识蒸馏是模型学习回答预设问题,Ask to Distill 让学生大模型主动向老师模型提问,知识蒸馏从 “回答问题” 走向 “优化问题”。
问题 2:Ask to Distill 方案里,大模型是怎么向老师模型提问来完成知识蒸馏的?
回答 2:Ask to Distill 方案中,学生模型先定位自身知识盲区,自主生成并筛选高价值问题,再提交给老师模型获取答案,反复迭代训练,依靠自主提问完成知识蒸馏。
问题 3:UIUC 提出的 Ask to Distill,在知识蒸馏任务上有什么明显优势?
回答 3:UIUC 提出的 Ask to Distill 可以不用海量标注数据,学生模型只针对薄弱点生成问题,剔除无效样本,同等参数量下,知识蒸馏后的模型推理问答性能优于传统蒸馏方式。
【参考资料】
[2026-11-18](让大模型学会向老师提问:UIUC 等提出 Ask to Distill,让知识蒸馏从「回答问题」走向「优化问题」)机器之心
[2026-11-18](Ask to Distill: Learning to Query for Knowledge Distillation)arXiv 论文
[2026-11-17](UIUC 团队提出新型蒸馏框架,大模型自主提问学习)量子位
【免责声明】
Ask to Distill 目前属于学术研究成果,未大规模商用;该方案的训练效果受师生模型选型、问题生成策略、算力资源影响,实际落地性能存在不确定性,本文仅为 AI 学术资讯科普,不构成项目落地、技术选型投资建议。
