标签 > 一句话回复的功耗，端侧模型怎么分成两段

端侧模型想要压低一句话回复的运行功耗，主流做法就是把生成链路拆成两段执行，一段负责输入解析、前置推理，另一段负责 token 流式输出