UIUC 提出 Ask to Distill,知识蒸馏从回答问题转向优化问题介绍

UIUC 团队提出的 Ask to Distill(简称 A2D)是一套全新的在线策略蒸馏框架,和传统知识蒸馏思路不一样,传统蒸馏大多是准备好一批问