30 分钟 5 元低成本蒸馏,将大模型能力迁移至 0.6B 小模型方案解读

现在有一套轻量化模型蒸馏方案,可以只用 30 分钟、5 元左右的推理成本,完成把大模型的输出风格、推理逻辑、指令跟随能力蒸馏到 0 6B