端侧模型想要压低一句话回复的运行功耗，主流做法就是把生成链路拆成两段执行，一段负责输入解析、前置推理，另一段负责 token 流式输出，这么拆分的核心原因是端侧芯片算力、内存、供电资源有限，如果一次性加载完整模型、全程跑全套推理，高算力持续工作会拉高功耗、发热明显，两段拆分之后可以按需唤醒算力模块、中间做模型权重或者 KV 缓存的调度，不用全程维持最高算力档位。整体的执行逻辑是先跑第一阶段：接收用户 prompt，完成预处理、语义编码、KV 缓存初始化，做完之后立刻释放部分算力单元、降频休眠；需要输出文字的时候再启动第二阶段，基于已经建好的 KV 缓存循环解码 token，输出一句话回复，在保证输出效果不变的前提下，缩短高算力持续运行时长，降低一句话回复的整体功耗。
一、端侧模型两段拆分各自职责清单
第一阶段：预推理阶段（Prompt 处理阶段）
- 输入处理：文本分词、token 编码、位置编码计算
- 核心计算：对用户输入做 prefill 推理，生成 KV 缓存
- 资源动作：计算完成后，大算力单元降频、闲置算力断电 / 进入低功耗模式
- 输出产物：KV 缓存，不输出最终文本
- 功耗特征：短时高算力，计算结束快速回落功耗
第二阶段：解码阶段（Token 生成阶段）
- 输入依赖：复用第一阶段产出的 KV 缓存
- 核心计算：自回归逐 token 解码，循环生成文字
- 资源动作：按需唤醒算力，动态调整算力档位
- 输出产物：逐 token 拼接，形成完整一句话回复
- 功耗特征：持续低强度推理，算力波动更小
两段模式对比表
| 阶段 | 计算类型 | 主要功耗来源 | 资源调度手段 |
|---|---|---|---|
| Prefill 预推理 | 并行矩阵计算 | 算力峰值高、访存密集 | 短时拉高频率，算完快速降频 |
| Decode 解码 | 串行自回归计算 | 反复读取 KV 缓存 | 维持较低频率，减少冗余计算 |
二、两段拆分降低一句话回复功耗的关键手段
- KV 缓存复用：第一阶段建好 KV，第二阶段不再重复编码用户提问，省去大量重复计算
- 算力动态启停：Prefill 跑完，NPU / 大核可以休眠，只保留小核做调度，等待解码触发
- 访存优化：KV 缓存放在片上 SRAM，减少 DDR 访问，DDR 是端侧功耗大户
- 档位分离：Prefill 用高性能算力档位，Decode 用低功耗算力档位，不统一跑满频
- 中间检查点机制：两段之间保存状态，支持中断之后继续解码，不用从头重跑
三、落地容易踩的坑
- KV 缓存占用过大：缓存挤占内存，反而导致频繁内存交换，功耗不降反升
- 两段切换开销：频繁唤醒 NPU，唤醒延迟、唤醒功耗抵消省电收益
- 调度逻辑粗糙：没有判断一句话长短，短句场景拆分调度开销大于省电收益
- 同步异常：两段时序没对齐，出现输出卡顿、文字乱码
【常见问题】
问题 1：端侧模型拆分两段处理一句话回复功耗，Prefill 和解码阶段能不能交换顺序？
回答 1：不可以。端侧模型拆分两段优化一句话回复功耗，必须先 Prefill 预推理生成 KV 缓存，再进入解码阶段生成 token；解码阶段依赖 KV 缓存，调换顺序缺少输入上下文，无法正常生成一句话回复，也就谈不上功耗优化。
问题 2：端侧模型两阶段拆分优化一句话回复功耗，所有长度的句子都适合这么做吗？
回答 2：不是。端侧模型两阶段拆分优化一句话回复功耗，长句子收益更明显；超短一句话回复本身推理时间很短，两段切换、KV 读写带来额外开销，有可能功耗反而更高，需要设置阈值判断是否启用分段调度。
问题 3：端侧模型两段拆分做一句话回复功耗控制，KV 缓存放在 DDR 和片上 RAM 差别大吗？
回答 3：差别很大。端侧模型两段拆分优化一句话回复功耗时，KV 缓存放在片上 RAM 可以大幅降低 DDR 读取功耗；如果放在 DDR，解码阶段反复读取缓存，访存功耗会显著上涨，削弱两段拆分的省电效果。
【数据来源】
[2026-10-30]（端侧大模型 Prefill/Decode 分阶段调度与功耗优化）AI 前线
[2026-10-12]（移动端 LLM KV 缓存管理与功耗实测）机器之心
[2026-09-25]（端侧 NPU 动态算力调度技术白皮书）半导体行业观察
[2026-08-11]（端侧生成式模型推理功耗建模实践）InfoQ
【免责声明】
本文为端侧模型两段拆分、一句话回复功耗优化方向的技术科普，不构成芯片调度方案、模型部署方案。不同端侧芯片、模型量化版本、操作系统调度能力差异较大，省电效果需要实测验证；两段拆分方案会带来一定的开发调试成本、延迟变化，上线前要兼顾功耗、响应速度、输出稳定性综合评估。