现在主流大模型用的 Transformer,已经不是原版论文里的结构了,RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 这五处改造,是现在绝大多数 LLM 都会标配的改动,把它们拆开并且手算一遍,就能看懂现代大模型为什么训练更稳、推理更快、上下文更长。原版 Transformer 有不少短板:位置编码泛化差、多头注意力算力开销大、层归一化计算冗余、激活函数收敛慢、后归一化容易出现梯度爆炸,这五个改造就是针对性解决这些问题,每一个都有明确的计算公式,不需要复杂框架,拿简单数字就可以手动演算验证。
一、五个改造模块基础清单
- Pre-Norm:把归一化挪到多头注意力、前馈网络前面,替代原版 Post-Norm
- RoPE(旋转位置编码):用旋转矩阵给 Query、Key 注入位置信息,支持长上下文外推
- GQA(分组查询注意力):介于 MHA 和 MQA 之间,减少 Key-Value 缓存,降低推理显存占用
- RMSNorm:简化 LayerNorm,去掉均值中心化,只做均方根缩放,计算更快
- SwiGLU:替换原版 ReLU/GELU,用门控线性单元,提升前馈层表达能力
二、逐个模块手算步骤
1. Pre-Norm
原版是 Attention → Add → Norm;Pre-Norm 顺序:Norm → Attention → Add。
手算步骤:
- 取输入向量 x
- 对 x 做 RMSNorm 归一化
- 送入注意力模块计算
- 结果和原始残差相加,直接进入下一层
优势:梯度路径更干净,深层训练不容易梯度爆炸。
2. RMSNorm
公式:RMSNorm(x)=RMS(x)x⋅γ,RMS(x)=d1∑xi2
手算步骤:
- 输入向量,比如 [2,4]
- 计算每个元素平方,求和,除以维度 d
- 开根号得到均方根 RMS
- 向量每个元素除以 RMS,再乘可学习参数 γ
对比 LayerNorm:省去减去均值的步骤,计算量更小。
3. RoPE 旋转位置编码
核心:对 Q、K 向量两两分组,乘旋转矩阵,让内积自带位置衰减。
手算步骤:
- 把 Q/K 向量按两个一组拆分
- 根据位置序号 m 计算旋转角度 θ
- 构造旋转矩阵,和向量组相乘
- 不同位置的 Q、K 做内积,距离越远内积越小
特点:不需要额外拼接位置向量,天然支持长上下文。
4. GQA 分组查询注意力
MHA:每个头一套 Q/K/V;MQA:所有头共享一套 K/V;GQA:Q 头分成多组,同一组共用 K/V。
手算步骤:
- 设定 Q 头数量、KV 组数量
- 所有 Q 头分到各个 KV 组
- 每组只用一份 K、V 参与注意力分数计算
- 输出拼接,和普通 MHA 后续流程一致
好处:KV 缓存变少,推理时显存占用大幅下降,效果比 MQA 更好。
5. SwiGLU
公式:SwiGLU(x1,x2)=x1⋅σ(βx2),σ 是 sigmoid
手算步骤:
- 前馈层分出两个分支 x1,x2
- 对x2做 sigmoid 激活
- 两个分支逐元素相乘得到输出
对比原版 ReLU:门控结构,表达能力更强,大模型收敛效果更好。
三、原版 Transformer vs 现代改造对比表
| 模块 | 原版 Transformer | 现代改造 | 核心收益 |
|---|---|---|---|
| 归一化位置 | Post-Norm(注意力之后归一化) | Pre-Norm | 深层训练稳定,梯度更健康 |
| 位置编码 | 可学习位置编码 / Sinusoidal | RoPE 旋转位置编码 | 支持长上下文外推,泛化更好 |
| 注意力 | MHA 多头注意力 | GQA 分组查询注意力 | 推理省显存,速度提升 |
| 归一化算子 | LayerNorm | RMSNorm | 计算更快,减少浮点开销 |
| FFN 激活 | ReLU / GELU | SwiGLU 门控激活 | 模型表达能力更强,loss 更低 |
四、手算实操注意事项
- 手算优先用低维向量,维度选 2、4 方便 RoPE 分组计算
- GQA 手算时,组数一定要小于等于 Q 头数
- RMSNorm 没有 bias 项,和 LayerNorm 不一样,不要额外减均值
- SwiGLU 是双分支,不是单路激活,不要当成普通 GELU
- RoPE 只作用在 Q、K,Value 一般不做旋转
五、这件事带来的结论
RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 这五处改造叠加在一起,构成了现在 LLM 最主流的 Transformer 变体,每一项都有明确数学公式,是可以手动演算的;它们分别解决训练稳定性、位置编码、推理显存、归一化开销、前馈表达这几个痛点,也是看懂 LLM 底层代码、复现模型的基础。
【常见问题】
问题 1:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,Pre-Norm 和 Post-Norm 差别在哪?
回答 1:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,Pre-Norm 是先归一化再送入注意力,Post-Norm 是注意力做完再归一化,Pre-Norm 残差链路更稳定,适合深层大模型。
问题 2:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,GQA 相比 MHA 主要优势是什么?
回答 2:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,GQA 让多个 Query 头共享同一组 KV,推理阶段 KV 缓存占用显存变少,推理速度更快,精度损失很小。
问题 3:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,RMSNorm 为什么比 LayerNorm 计算更快?
回答 3:现代 Transformer 的五处改造 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算,RMSNorm 省去了减去均值的计算步骤,只做均方根缩放,算术运算更少,GPU 上推理和训练速度更快。
【数据来源】
[2026-10-29](详解现代 Transformer 五大改进:RoPE/GQA/RMSNorm/SwiGLU/Pre-Norm)机器之心
[2026-10-11](LLM 底层数学:RoPE、GQA、SwiGLU 手算推导)知乎技术专栏
[2026-09-20](从原版 Transformer 到 LLaMA:五大核心改动梳理)InfoQ
[2026-08-15](RMSNorm、SwiGLU、RoPE 数学推导与代码实现)AI 前线
【免责声明】
本文仅为 Transformer 五大改进模块原理与手算科普,不同开源模型在细节参数、变体实现上存在差异;手算为简化教学版本,工程代码会增加数值稳定性、浮点精度等额外处理,不直接等同于框架源码。
