您的位置首页 >机器人 >

大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索

大模型里的巨大激活,不是模型出错产生的异常数值,是训练过程里自适应形成的梯度调节结构。之前大部分研究都盯着模型前向推理过程解释巨大激活和注意力汇聚,清华北大这支团队换了思路,从反向传播这条训练链路入手做实验推导;他们先确认因果掩码下注意力汇聚会把梯度集中在少数 token 形成梯度汇聚,接着分析 RMSNorm 的梯度传递特性,验证激活数值越大,RMSNorm 压缩反向梯度的能力越强,最后通过 V-scale 改动做对照实验,保留注意力汇聚的同时抑制巨大激活,证实巨大激活是用来抵消梯度汇聚带来的局部梯度压力的减压阀。

一、基础概念说明

  1. 巨大激活(Massive Activations):大模型残差流里少数 token 的激活范数远大于其他位置,经常出现在序列开头,数值差距可以达到上万倍,这个现象会给模型量化带来麻烦。
  2. 注意力汇聚(Attention Sinks):因果掩码 Transformer 里,后面大量 token 都会持续给序列开头少数 token 分配注意力权重,哪怕这些 token 语义信息很少。
  3. 梯度汇聚(Gradient Sinks):注意力汇聚带来的反向传播现象,所有后续 token 的训练梯度信号,都会回流集中到同一个 token 位置,造成局部梯度压力暴涨。
  4. RMSNorm:预归一化 Transformer 标配的归一化算子,它有一个关键特性,输入激活的尺度越大,对反向传回梯度的衰减能力就越强。

二、完整机制链路清单

  • 步骤 1:训练时因果掩码约束,序列后续 token 持续关注开头 token,形成注意力汇聚。
  • 步骤 2:反向传播阶段,大量梯度跟着注意力路径回流,全部堆积在同一个 token 上,生成梯度汇聚,局部梯度压力过大。
  • 步骤 3:模型自动演化出巨大激活,提升这个 token 的激活范数。
  • 步骤 4:高数值的激活经过 RMSNorm,把集中起来的梯度做衰减压缩,稳住残差流梯度尺度,避免梯度失控。
  • 步骤 5:最终效果,注意力汇聚保留、模型正常学习,巨大激活充当内置梯度调节器。

三、验证实验设计与结果

团队设计了 V-scale 改动方案,只修改 Value 路径上反向传播的梯度,不改动前向注意力计算:

实验组注意力汇聚状态巨大激活状态核心结论
原始模型保留出现注意力汇聚→梯度汇聚→催生巨大激活
V-scale 修改模型保留被抑制巨大激活由反向梯度压力驱动,不是注意力汇聚直接生成

四、和旧观点的区别

  • 旧观点:巨大激活在前向链路里,是注意力汇聚的成因,相当于一个固定偏置项。
  • 本次新结论:巨大激活是训练时反向传播催生的自适应反馈,是梯度汇聚带来的结果,用来平衡梯度,不是注意力汇聚的源头。

五、这项发现的实用价值

  1. 给大模型量化不稳定问题提供新解释:巨大激活是梯度调节产物,直接粗暴裁剪激活值,容易破坏训练稳定。
  2. 提供可控优化思路:可以针对性调整反向梯度通路,不用消除注意力汇聚,就能降低巨大激活,提升量化友好度。
  3. 完善 Transformer 可解释性:补齐反向训练视角,不再只看前向推理去理解模型异常激活。

【相关 FAQ】

问题 1:大模型巨大激活和反向传播之间是什么关系?

回答 1:大模型巨大激活是反向传播里梯度汇聚带来的自适应产物,注意力汇聚让梯度集中到少数 token,模型依靠巨大激活搭配 RMSNorm 衰减反向梯度,缓解局部梯度压力,这也是清华北大本次研究的核心结论。

问题 2:梯度汇聚和注意力汇聚、巨大激活三者怎么联动?

回答 2:因果掩码先产生注意力汇聚,反向传播时转化成梯度汇聚,巨大激活作为响应机制出现,依靠 RMSNorm 压制集中的梯度,三者是先后触发的训练动态链条。

问题 3:V-scale 实验是怎么证明巨大激活来自反向传播压力?

回答 3:V-scale 只修改 Value 路径的反向梯度,前向的注意力汇聚保持不变,实验里巨大激活被明显抑制,证明巨大激活由反向梯度压力驱动,不是前向注意力汇聚直接造成。

问题 4:巨大激活一定会影响大模型量化吗?

回答 4:巨大激活数值极端,会拉高数值范围,给低精度量化带来稳定性风险;但它本身是模型训练的梯度保护机制,直接删除巨大激活会破坏梯度平衡。

【参考资料】

[2026-11-21](大模型为何长出「巨大激活」? 清华、北大研究从反向传播找到新线索)新浪财经

[2026-03-22](Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers)arXiv

[2026-03-22](Attention Sinks Induce Gradient Sinks)WisPaper

[2024-02-27](Massive Activations in Large Language Models)arXiv

【免责声明】

本文内容仅为学术研究成果科普解读,不构成模型训练、模型优化、商用部署的落地指导;相关结论基于清华北大公开论文实验条件,不同模型架构、训练超参下现象可能存在差异,技术落地请自行验证。

今日大家都在搜的词: