Transformer 权重反复循环复用，参数占用会明显变少，但不一定直接省下计算量，核心取决于选择循环哪些层、循环次数、训练约束条件；之所以会出现这种反差，是因为权重复用只是把同一套参数重复跑多轮前向计算，每一轮循环依然要做注意力、FFN 的浮点运算，只是不再新增独立权重；研究团队做了多组对照实验，分别测试全层循环、只循环中间层、优先循环底层、循环顶层等不同方案，对比参数量、FLOPs、困惑度、推理延迟；最终结论是，想要兼顾效果和效率，优先循环中间层或者底层编码层是最优方案，直接循环最后输出层收益很低，循环次数过多还会出现效果饱和、不稳定的问题。
一、基础概念：权重循环复用是什么
普通 Transformer，每一层都有独立的 Attention、FFN 权重，模型越深，参数总量越大。
循环复用（Looped / Recurrent Transformer）：只用少量一套或者几套权重，多次迭代作用在同一个隐状态上，用少量参数模拟更深的模型深度。
- 优点：参数变少、权重文件更小、显存加载压力下降，适合端侧部署
- 天然短板：每一次循环都要重新跑一遍前向，总 FLOPs 不会自动减少
二、不同循环方案对比表
| 复用方案 | 具体做法 | 节省参数 | 计算开销变化 | 效果表现 |
|---|---|---|---|---|
| 全层循环 | 整套 Transformer Block 反复循环 | 最多，参数压缩幅度最大 | 每轮循环都完整计算，总 FLOPs 偏高 | 参数预算有限时效果最好，容易不稳定 |
| 仅循环中间层（主流推荐） | 开头输入编码层、末尾输出层独立，中间 Block 循环迭代 | 中等，保留首尾专用层 | 可控，可搭配 KV 缓存优化 | 综合最优，大部分论文推荐方案，如 Hyperloop Transformer |
| 优先循环底层（靠前层） | 模型前面编码层多次循环，上层不循环 | 少量 | 中等 | 底层负责基础表征，反复编码，困惑度下降明显 |
| 优先循环顶层（最后几层） | 只循环靠近输出的上层 | 少量 | 中等 | 收益很小，甚至会掉效果，不推荐 |
三、研究里的关键发现清单
- 层的分工不一样：底层负责提取基础语义、句法表征；中间层做推理、信息融合；顶层负责映射到输出词表。顶层任务特殊，不适合反复循环复用。
- 循环次数有上限：循环次数增加，效果先涨后饱和，循环太多会出现梯度爆炸、表征退化，性能反向下滑。
- 两种预算场景完全不一样：
- 固定参数预算：循环复用可以用少量参数模拟更深模型，性价比高
- 固定算力 FLOPs 预算：循环复用没有算力优势，需要搭配 KV 缓存、门控、低秩适配器来降开销
- 优化手段：很多方案会加轻量门控、低秩 LoRA 适配器，让每一轮循环有微小差异，缓解完全同权重带来的表征同质化问题。
- 推理优化方向：CART 这类方案，在循环核心之外只计算一次 KV，后续循环复用 KV 缓存，才能真正降低每一轮的计算量。
四、完整实验验证步骤
- 搭建基线标准 Transformer，记录参数量、FLOPs、验证集困惑度。
- 分组设置不同循环策略：全循环、中间循环、底层循环、顶层循环，控制变量。
- 固定训练 token、学习率、训练轮次，分别训练各组模型。
- 统计指标：参数量、总 FLOPs、推理延迟、验证集 loss、下游任务精度。
- 消融实验：测试循环次数、是否共享 KV、是否增加门控适配器带来的变化。
- 汇总结论：确定中间层循环是效率和效果平衡的首选策略。
五、适用和不适合场景
✅ 适合权重循环复用
- 端侧、嵌入式设备，显存很小，优先压缩模型体积
- 参数预算卡死，希望用小参数拿到更深模型的能力
- 推理时支持动态循环、提前退出，简单问题少循环、复杂问题多循环
❌ 不适合权重循环复用
- 云服务高吞吐场景，算力充足、延迟敏感，想直接降低 FLOPs
- 强稳定要求的线上业务，循环次数多容易出现输出不稳定
- 顶层输出、输入嵌入层，本身功能特殊，循环收益差
【常见问题】
问题 1：Transformer 权重反复使用，真的更省计算吗？
回答 1：Transformer 权重反复使用不会自动省下浮点计算，每一轮循环都要执行一次前向运算；它主要节省参数量和权重加载显存，只有搭配 KV 缓存复用、自适应提前退出等机制，才可以真正降低计算开销。
问题 2：研究发现 Transformer 循环哪些层效果最好？
回答 2：研究发现 Transformer 优先循环中间层综合效果最好，其次是底层编码层；尽量不要循环靠近输出的顶层，顶层循环几乎没有收益，还容易造成模型效果下滑。
问题 3：Transformer 中间层循环复用权重，和全层循环复用有什么差别？
回答 3：Transformer 中间层循环复用权重保留独立的输入编码层和输出层，稳定性更好、效果更可控；全层循环复用权重压缩参数最多，但更容易出现表征退化、训练不稳定，适合参数极度受限的场景。
问题 4：Transformer 循环复用权重，循环次数越多模型效果就越好吗？
回答 4：Transformer 循环复用权重，循环次数增加到一定程度效果会饱和，继续增加循环次数，模型会出现不稳定、精度下降，不是循环次数越多越好。
【参考资料】
[2026-10-24]（How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference）arXiv
[2026-07-02]（Hyperloop Transformers）arXiv
[2026-06-01]（CART: Context-Anchored Recurrent Transformer）arXiv
[2025-05-08]（Intra-Layer Recurrence in Transformers for Language Modeling）arXiv
【免责声明】
本文为 Transformer 权重循环复用相关学术研究资讯整理，不同模型规模、训练数据、硬件环境下结论会存在差异，不代表工程落地选型标准。实际部署前请自行做消融对照测试，评估算力、显存、精度的取舍。