您的位置首页 >科技要闻 >

清华北大研究揭秘大模型巨大激活成因 从反向传播机制找到新线索

清华和北大联合团队针对大模型里的巨大激活现象开展理论与实验研究,过去大家大多只观察到巨大激活这个现象,猜测它是模型自带的隐式偏置,但是一直说不清它是怎么在训练里自然形成的,这次团队把分析重心放到反向传播的梯度流动过程,发现注意力机制会把训练梯度集中在少数 token 上形成梯度汇聚,而巨大激活搭配 RMSNorm 归一化层,能起到收缩、调节梯度的作用,相当于训练过程里自动长出的梯度减压阀,用来稳住残差流里梯度尺度,避免梯度爆炸,这套机制解释了为什么很多主流大模型训练后都会稳定出现巨大激活,也给后续模型量化、长上下文优化、训练稳定性调优提供了全新思路。

基础概念说明

  • 巨大激活(Massive Activations):大模型残差流里少量数值远大于其他激活值的特征,数值可以高出普通激活上千甚至上万倍,大多固定出现在序列起始 token 位置,在 LLaMA、Qwen 等主流大模型里普遍存在。
  • 反向传播:大模型训练的核心流程,从损失往前面每一层回传梯度,用来更新模型权重。
  • 梯度汇聚(梯度沉点 Gradient Sinks):注意力计算的时候,梯度会向少数几个 token 集中,造成局部梯度数值暴涨,容易引发训练不稳定。
  • RMSNorm:Transformer 里常用的归一化组件,本次研究里它是巨大激活调节梯度的关键载体。

研究发现的完整机制链

  1. 自注意力计算的时候,注意力分数向开头少数 token 倾斜,在 Value 路径上发生梯度汇聚;
  2. 反向传播阶段,这部分 token 的梯度会被注意力层放大,存在梯度爆炸风险;
  3. 训练过程里模型自发形成巨大激活,输入给 RMSNorm;
  4. RMSNorm 有一个特性:输入激活尺度越大,它对反向梯度的收缩抑制效果越强;
  5. 巨大激活借助 RMSNorm 把集中放大的梯度压回稳定区间,保证残差流梯度不会失控。

和过往研究结论的对比

研究方向过往主流观点清华北大本次新线索
巨大激活角色只是隐式固定偏置、用来形成注意力沉点是自适应梯度调节器,服务反向传播的梯度稳定
形成诱因前向注意力结构、权重初始化根源来自反向传播里的梯度汇聚压力
改造思路直接删除或者弱化巨大激活可通过调控梯度汇聚、RMSNorm 梯度传递特性优化训练

这项研究带来的实用价值清单

✅ 解释注意力沉点(Attention Sinks)和巨大激活之间的内在关联,打通现象背后的训练动力学逻辑

✅ 给长上下文模型训练不稳定、梯度异常问题提供新的优化方向

✅ 给大模型量化提供参考:巨大激活数值极端,是量化误差的重要来源

✅ 后续可以设计更稳定的归一化、注意力结构,减少不必要的巨大激活,降低推理开销

实验验证要点

  1. 跨多款主流开源大模型做消融实验,巨大激活消失之后,梯度汇聚更容易造成梯度震荡;
  2. 团队做理论推导,证明 RMSNorm 对梯度的收缩能力和输入激活均方根尺度成反比;
  3. 现象不是特定数据集、特定模型独有,在多种预训练范式下都会出现。

【相关 FAQ】

问题 1:清华北大这项关于大模型巨大激活的研究,为什么选择从反向传播入手分析?

回答 1:之前的研究大多只看前向推理过程里大模型巨大激活的表现,很难解释它为什么会在训练中自发出现,清华北大团队发现问题根源藏在反向传播的梯度汇聚过程,因此从反向传播切入找到巨大激活作为梯度调节器的新线索。

问题 2:大模型的巨大激活在反向传播里,是依靠哪个组件完成梯度调节?

回答 2:大模型巨大激活在反向传播里依靠 RMSNorm 归一化层完成梯度调节,激活数值越大,RMSNorm 对回传梯度的压缩效果越强,以此抵消注意力带来的梯度汇聚放大效应。

问题 3:大模型巨大激活如果被直接删掉,会对反向传播和训练带来什么影响?

回答 3:如果直接删掉大模型巨大激活,反向传播里集中在少数 token 的梯度汇聚缺少减压阀,梯度容易剧烈波动甚至爆炸,会破坏大模型训练的稳定性。

问题 4:清华北大这个巨大激活研究,对大模型长上下文、量化有什么帮助?

回答 4:清华北大从反向传播找到的巨大激活线索,一方面能用来优化长上下文注意力带来的梯度沉点问题,另一方面巨大激活是量化误差的高发位置,能指导大模型量化方案设计。

问题 5:所有大模型都会长出巨大激活吗,巨大激活在反向传播里的作用是固定的吗?

回答 5:主流 Transformer 大模型大多会在训练后长出巨大激活,巨大激活在反向传播里核心作用是自适应调节梯度,但它的强弱、出现位置会随注意力结构、归一化设置、训练数据变化。

【参考资料】

[2026-11-21](大模型为何长出「巨大激活」? 清华、北大研究从反向传播找到新线索)新浪财经

[2026-11-20](Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers)arXiv

[2026-08-14](A Single Layer to Explain Them All: Understanding Massive Activations in Large Language Models)arXiv

[2024-02-28](Massive Activations in Large Language Models)arXiv

[2024-07-10](Massive Activations in Large Language Models)OpenReview

【免责声明】

本文仅整理清华北大团队关于大模型巨大激活与反向传播的公开论文和资讯;研究结论属于理论发现,不代表可以直接落地改造大模型;巨大激活的调控方案、模型优化效果还需要更多后续验证;不同架构大模型的巨大激活行为存在差异,实际训练效果不做保证。

今日大家都在搜的词: