您的位置首页 >人工智能 >

大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索

清华北大这支团队跳出以往只看前向计算的思路,转到反向传播过程做分析,先确认因果掩码下注意力汇聚会把大量梯度堆在少数 Token 位置,形成梯度汇聚,而带 RMSNorm 的预归一 Transformer 里,激活数值越大,RMSNorm 对反向梯度的削弱效果越强,模型在训练迭代里自发长出巨大激活,用来抵消梯度汇聚带来的局部梯度过载,团队接着设计 V-scale 方案做对照实验,只调整 Value 路径反向梯度、不动前向注意力,结果注意力汇聚保留,但巨大激活明显被压制,最后得出结论:巨大激活不是模型计算 bug,而是训练过程里自适应生成的梯度调节器,用来稳住局部梯度压力,保障大模型训练稳定。

一、先理清两个基础现象

  • 注意力汇聚(Attention Sinks):自回归大模型有因果掩码,后面所有 Token 都会关注序列开头少数固定 Token,哪怕这个 Token 语义信息很少,也会持续拿到很高注意力权重。
  • 巨大激活(Massive Activations):在注意力汇聚对应的同一个 Token 位置,模型内部激活数值会远远大于其他位置,也就是激活异常大的离群点,这个现象长期困扰量化、低精度部署工作。
  • 过去主流解释:大多只分析前向推理,没法讲清楚注意力汇聚和巨大激活之间的因果关系。

二、反向传播视角核心机制链

  1. 前向阶段:因果掩码让后续 Token 全部指向同一个 Sink Token,形成注意力汇聚。
  2. 反向传播阶段:损失回传时,所有这些 Token 的梯度都会汇总到这个 Sink Token,产生梯度汇聚(Gradient Sinks),局部梯度压力急剧升高,容易引发梯度爆炸。
  3. RMSNorm 特性:RMSNorm 反向梯度的衰减能力和输入激活的均方根尺度成反比,激活越大,往回传的梯度被压得越狠。
  4. 自适应调节:模型在训练中自动抬高这个位置的激活值,依靠 RMSNorm 把堆在这里的梯度削弱,把梯度尺度维持在安全区间,巨大激活就这么 “长出来” 了。

三、验证实验:V-scale 干预方案

团队设计 V-scale,只修改 Value 分支反向传播的梯度,前向的注意力计算完全不变:

  • 对照组:原版模型,同时存在注意力汇聚 + 巨大激活。
  • V-scale 实验组:注意力汇聚现象还在,但是巨大激活显著减弱。
  • 下游效果:V-scale 模型基础能力和原版接近,长上下文检索、低精度场景表现还有小幅提升,直接证明梯度汇聚是催生巨大激活的关键推手。

四、这项研究的实际价值清单

✅ 解释激活离群点的起源,不再简单当成数值 bug

✅ 给大模型量化、低精度推理优化提供新思路,不用强行消除注意力汇聚

✅ 给长上下文模型训练稳定性调参提供理论依据

✅ 补充 Transformer 优化理论,把反向传播动力学和模型内部现象关联起来

【相关 FAQ】

问题 1:清华北大这项研究提出的巨大激活,和大模型梯度汇聚是什么关系?

回答 1:清华北大这项研究提出,注意力汇聚在反向传播时催生梯度汇聚,巨大激活是大模型用来抵消梯度汇聚压力、借助 RMSNorm 衰减梯度的自适应产物,梯度汇聚是因,巨大激活是模型自发形成的调节手段。

问题 2:巨大激活会影响大模型量化部署吗,清华北大的新结论怎么看?

回答 2:巨大激活本身就是量化的难点,大激活离群点会拉高量化缩放系数、损害低精度精度;清华北大的新结论说明不用一刀切消除注意力汇聚,可以通过在反向路径调控梯度汇聚,从而抑制巨大激活,兼顾模型能力和部署需求。

问题 3:V-scale 方法消除了大模型的注意力汇聚吗,和巨大激活的改动边界在哪?

回答 3:V-scale 不会消除大模型注意力汇聚,它只改动 Value 路径反向传播梯度,保留前向注意力汇聚,只抑制巨大激活,这个对照实验就是用来证明巨大激活由反向梯度汇聚驱动,而不是注意力汇聚本身直接造成。

问题 4:是不是所有带 RMSNorm 的大模型,训练时都会长出巨大激活?

回答 4:不是一定会出现巨大激活;清华北大研究说明巨大激活是梯度汇聚带来的自适应响应,如果梯度汇聚程度低、梯度压力可控,模型就不需要生成巨大激活做梯度调节。

【参考资料】

[2026-11-21](大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索)机器之心

[2026-11-21](Attention Sinks Induce Gradient Sinks; Massive Activations Regulate Gradients via RMSNorm)PicX AI News

[2026-03-22](Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers)arXiv

[2026-03-22](论文配套项目介绍 Gradient Sink)GitHub LARS-research

【免责声明】

本文仅为 AI 学术成果科普解读,不构成模型训练、量化落地、算法改造的工程实施方案;论文结论为当前阶段性研究观点,Transformer 内部机制仍有大量待探索方向;实际大模型训练、部署效果受框架、数据、硬件精度、超参组合多重因素影响,请结合自身实验验证。

今日大家都在搜的词: