Layer normalization(简称 LayerNorm)是 Transformer 和大语言模型里最核心的归一化组件,核心作用是把每个 token 自身的特征向量做标准化,稳定每一层的激活分布,缓解深层网络梯度消失、梯度爆炸,让大模型可以稳定训练、收敛更快,而且不依赖 batch 大小,适配 LLM 变长序列、推理时 batch=1 的场景。它和 BatchNorm 统计维度不一样,BatchNorm 是在批次维度统计均值方差,LayerNorm 是在单个 token 的特征维度统计均值方差,现在原始 Transformer 用标准 LayerNorm,而 Llama、Mistral 这类主流大模型改成简化版 RMSNorm,去掉了减均值的步骤,速度更快,效果接近。我们先看懂计算公式、前向计算步骤,再区分 Pre-LN 和 Post-LN 两种放置方式,对比 LayerNorm、BatchNorm、RMSNorm 差异,就能搞定这个高频面试基础点。
一、LayerNorm 基础公式与参数说明
公式:
y=γ⊙σ2+ϵx−μ+β
- x:单个 token 的隐藏向量,维度为 hidden_dim
- μ:当前 token 所有特征的均值
- σ2:当前 token 所有特征的方差
- ϵ:极小常数,一般 1e-5 或 1e-6,防止分母为 0
- γ:可学习缩放参数,β:可学习偏移参数,维度和隐藏向量一致
- ⊙:逐元素相乘
二、LayerNorm 前向计算步骤(清单版)
- 取单个 token 的隐藏向量,沿着特征维度计算均值 μ
- 沿着同一个特征维度,计算方差 σ²
- 向量减去均值,再除以标准差(加 ε),得到零均值、单位方差的标准化向量
- 乘以可学习缩放 γ,加上可学习偏移 β,得到最终输出
- 每个 token 独立计算统计量,不同 token 之间互不干扰
三、大模型里两种放置方式:Pre-LN vs Post-LN
- Post-LN(原始 Transformer):先做注意力 / 前馈网络,再做 LayerNorm,残差在归一化外面。缺点是深层容易梯度不稳定,大模型很少用。
- Pre-LN(现在绝大多数 LLM 在用):先 LayerNorm,再送入注意力和 FFN,残差直接直通。优点是梯度路径更干净,训练稳定性更好,Llama、GPT 系列都采用 Pre-LN 结构。
四、LayerNorm、BatchNorm、RMSNorm 横向对比表
| 归一化类型 | 统计维度 | 是否依赖 batch | 特点 | LLM 使用情况 |
|---|---|---|---|---|
| LayerNorm | 单个 token,特征维度 | 不依赖 | 减均值 + 除方差,有 γ、β | 原始 Transformer |
| BatchNorm | 同一个特征,整批样本 | 强依赖 | 批次统计,推理时用滑动均值 | LLM 几乎不用,CV 常用 |
| RMSNorm | 单个 token,特征维度 | 不依赖 | 去掉减均值,只做 RMS 缩放,只有 γ | 现代主流大模型(Llama、Mistral) |
五、LayerNorm 核心优势(LLM 场景)
- 不受 batch 大小限制,推理时 batch=1 也正常工作,适合线上生成
- 支持变长文本序列,NLP 输入长度不固定,不会出现统计漂移
- 稳定激活分布,减少内部协变量偏移,允许设置更大学习率
- 梯度流动更平稳,上千层的大模型也能顺利训练
六、常见踩坑点
- 不要误以为 LayerNorm 是对整个 Transformer 层做归一化,它是逐 token归一化
- ε 不能省略,数值稳定性很关键,不同框架默认值不一样
- Pre-LN 和 Post-LN 不能随便互换,会影响收敛和 loss 曲线
- RMSNorm 是 LayerNorm 的简化变体,不是完全等价,只是工程上效果接近
【常见问题】
问题 1:大模型 LLM 里为什么优先用 Layer normalization,而不是 BatchNorm?
回答 1:Layer normalization 按单个 token 特征维度统计,不依赖 batch 尺寸,适配 LLM 变长输入、推理时 batch=1 的场景;BatchNorm 依赖整批样本统计,文本序列长度变化大、小 batch 推理时分布漂移严重,所以大模型基本不使用 BatchNorm。
问题 2:Layer normalization 和 RMSNorm 有什么核心区别?
回答 2:Layer normalization 会减去均值、再除以标准差,同时保留 γ 和 β 两个可学习参数;RMSNorm 删掉了减均值这一步,只使用均方根做缩放,一般只保留 γ,计算量更低、速度更快,是现在 LLM 主流选择。
问题 3:Pre-LN 结构里的 Layer normalization 放在哪个位置?
回答 3:Pre-LN 是先执行 Layer normalization,再送入多头注意力或者前馈网络,残差分支直接绕开子层,梯度通路更稳定,是当前绝大多数 LLM 采用的 Layer normalization 排布方式。
【参考资料】
[2026-09-16](LayerNorm 与 RMSNorm 大模型原理详解)腾讯云开发者社区
[2026-08-18](Modern Architecture Improvements & Design Choices — The LLM Stack)Prakash Kagitha 技术博客
[2026-04-14](Transformer 归一化面试知识点梳理)腾讯云开发者社区
[2016-07-21](Layer Normalization 原始论文)arXiv
【免责声明】
本文 Layer normalization 相关原理、公式、结构对比为通用深度学习理论内容,不同开源大模型框架(PyTorch、Megatron-LM、vLLM)里的 LayerNorm、RMSNorm 实现细节、超参 ε 取值存在差异;训练效果、收敛特性受模型规模、学习率、数据分布共同影响,内容仅作为 LLM 基础学习参考,不保证适配所有自研模型。
