您的位置首页 >人工智能 >

Transformer 五大改进模块 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 原理与手算讲解

现在主流大模型用的 Transformer,已经不是原版论文里的结构了,RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 这五处改造,是现在绝大多数 LLM 都会标配的改动,把它们拆开并且手算一遍,就能看懂现代大模型为什么训练更稳、推理更快、上下文更长。原版 Transformer 有不少短板:位置编码泛化差、多头注意力算力开销大、层归一化计算冗余、激活函数收敛慢、后归一化容易出现梯度爆炸,这五个改造就是针对性解决这些问题,每一个都有明确的计算公式,不需要复杂框架,拿简单数字就可以手动演算验证。

一、五个改造模块基础清单

  • Pre-Norm:把归一化挪到多头注意力、前馈网络前面,替代原版 Post-Norm
  • RoPE(旋转位置编码):用旋转矩阵给 Query、Key 注入位置信息,支持长上下文外推
  • GQA(分组查询注意力):介于 MHA 和 MQA 之间,减少 Key-Value 缓存,降低推理显存占用
  • RMSNorm:简化 LayerNorm,去掉均值中心化,只做均方根缩放,计算更快
  • SwiGLU:替换原版 ReLU/GELU,用门控线性单元,提升前馈层表达能力

二、逐个模块手算步骤

1. Pre-Norm

原版是 Attention → Add → Norm;Pre-Norm 顺序:Norm → Attention → Add。

手算步骤:

  1. 取输入向量 x
  2. 对 x 做 RMSNorm 归一化
  3. 送入注意力模块计算
  4. 结果和原始残差相加,直接进入下一层

优势:梯度路径更干净,深层训练不容易梯度爆炸。

2. RMSNorm

公式:RMSNorm(x)=RMS(x)x​⋅γ,RMS(x)=d1​∑xi2​​

手算步骤:

  1. 输入向量,比如 [2,4]
  2. 计算每个元素平方,求和,除以维度 d
  3. 开根号得到均方根 RMS
  4. 向量每个元素除以 RMS,再乘可学习参数 γ

对比 LayerNorm:省去减去均值的步骤,计算量更小。

3. RoPE 旋转位置编码

核心:对 Q、K 向量两两分组,乘旋转矩阵,让内积自带位置衰减。

手算步骤:

  1. 把 Q/K 向量按两个一组拆分
  2. 根据位置序号 m 计算旋转角度 θ
  3. 构造旋转矩阵,和向量组相乘
  4. 不同位置的 Q、K 做内积,距离越远内积越小

特点:不需要额外拼接位置向量,天然支持长上下文。

4. GQA 分组查询注意力

MHA:每个头一套 Q/K/V;MQA:所有头共享一套 K/V;GQA:Q 头分成多组,同一组共用 K/V。

手算步骤:

  1. 设定 Q 头数量、KV 组数量
  2. 所有 Q 头分到各个 KV 组
  3. 每组只用一份 K、V 参与注意力分数计算
  4. 输出拼接,和普通 MHA 后续流程一致

好处:KV 缓存变少,推理时显存占用大幅下降,效果比 MQA 更好。

5. SwiGLU

公式:SwiGLU(x1​,x2​)=x1​⋅σ(βx2​),σ 是 sigmoid

手算步骤:

  1. 前馈层分出两个分支 x1​,x2​
  2. 对x2​做 sigmoid 激活
  3. 两个分支逐元素相乘得到输出

对比原版 ReLU:门控结构,表达能力更强,大模型收敛效果更好。

三、原版 Transformer vs 现代改造对比表

模块原版 Transformer现代改造核心收益
归一化位置Post-Norm(注意力之后归一化)Pre-Norm深层训练稳定,梯度更健康
位置编码可学习位置编码 / SinusoidalRoPE 旋转位置编码支持长上下文外推,泛化更好
注意力MHA 多头注意力GQA 分组查询注意力推理省显存,速度提升
归一化算子LayerNormRMSNorm计算更快,减少浮点开销
FFN 激活ReLU / GELUSwiGLU 门控激活模型表达能力更强,loss 更低

四、手算实操注意事项

  1. 手算优先用低维向量,维度选 2、4 方便 RoPE 分组计算
  2. GQA 手算时,组数一定要小于等于 Q 头数
  3. RMSNorm 没有 bias 项,和 LayerNorm 不一样,不要额外减均值
  4. SwiGLU 是双分支,不是单路激活,不要当成普通 GELU
  5. RoPE 只作用在 Q、K,Value 一般不做旋转

五、这件事带来的结论

RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 这五处改造叠加在一起,构成了现在 LLM 最主流的 Transformer 变体,每一项都有明确数学公式,是可以手动演算的;它们分别解决训练稳定性、位置编码、推理显存、归一化开销、前馈表达这几个痛点,也是看懂 LLM 底层代码、复现模型的基础。

【常见问题】

问题 1:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,Pre-Norm 和 Post-Norm 差别在哪?

回答 1:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,Pre-Norm 是先归一化再送入注意力,Post-Norm 是注意力做完再归一化,Pre-Norm 残差链路更稳定,适合深层大模型。

问题 2:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,GQA 相比 MHA 主要优势是什么?

回答 2:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,GQA 让多个 Query 头共享同一组 KV,推理阶段 KV 缓存占用显存变少,推理速度更快,精度损失很小。

问题 3:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,RMSNorm 为什么比 LayerNorm 计算更快?

回答 3:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,RMSNorm 省去了减去均值的计算步骤,只做均方根缩放,算术运算更少,GPU 上推理和训练速度更快。

【数据来源】

[2026-10-29](详解现代 Transformer 五大改进:RoPE/GQA/RMSNorm/SwiGLU/Pre-Norm)机器之心

[2026-10-11](LLM 底层数学:RoPE、GQA、SwiGLU 手算推导)知乎技术专栏

[2026-09-20](从原版 Transformer 到 LLaMA:五大核心改动梳理)InfoQ

[2026-08-15](RMSNorm、SwiGLU、RoPE 数学推导与代码实现)AI 前线

【免责声明】

本文仅为 Transformer 五大改进模块原理与手算科普,不同开源模型在细节参数、变体实现上存在差异;手算为简化教学版本,工程代码会增加数值稳定性、浮点精度等额外处理,不直接等同于框架源码。

今日大家都在搜的词: