您的位置首页 >人工智能 >

大模型 LLM 基础Layer normalization 原理与实战讲解

Layer normalization(简称 LayerNorm)是 Transformer 和大语言模型里最核心的归一化组件,核心作用是把每个 token 自身的特征向量做标准化,稳定每一层的激活分布,缓解深层网络梯度消失、梯度爆炸,让大模型可以稳定训练、收敛更快,而且不依赖 batch 大小,适配 LLM 变长序列、推理时 batch=1 的场景。它和 BatchNorm 统计维度不一样,BatchNorm 是在批次维度统计均值方差,LayerNorm 是在单个 token 的特征维度统计均值方差,现在原始 Transformer 用标准 LayerNorm,而 Llama、Mistral 这类主流大模型改成简化版 RMSNorm,去掉了减均值的步骤,速度更快,效果接近。我们先看懂计算公式、前向计算步骤,再区分 Pre-LN 和 Post-LN 两种放置方式,对比 LayerNorm、BatchNorm、RMSNorm 差异,就能搞定这个高频面试基础点。

一、LayerNorm 基础公式与参数说明

公式:

y=γ⊙σ2+ϵ​x−μ​+β

  • x:单个 token 的隐藏向量,维度为 hidden_dim
  • μ:当前 token 所有特征的均值
  • σ2:当前 token 所有特征的方差
  • ϵ:极小常数,一般 1e-5 或 1e-6,防止分母为 0
  • γ:可学习缩放参数,β:可学习偏移参数,维度和隐藏向量一致
  • ⊙:逐元素相乘

二、LayerNorm 前向计算步骤(清单版)

  1. 取单个 token 的隐藏向量,沿着特征维度计算均值 μ
  2. 沿着同一个特征维度,计算方差 σ²
  3. 向量减去均值,再除以标准差(加 ε),得到零均值、单位方差的标准化向量
  4. 乘以可学习缩放 γ,加上可学习偏移 β,得到最终输出
  5. 每个 token 独立计算统计量,不同 token 之间互不干扰

三、大模型里两种放置方式:Pre-LN vs Post-LN

  • Post-LN(原始 Transformer):先做注意力 / 前馈网络,再做 LayerNorm,残差在归一化外面。缺点是深层容易梯度不稳定,大模型很少用。
  • Pre-LN(现在绝大多数 LLM 在用):先 LayerNorm,再送入注意力和 FFN,残差直接直通。优点是梯度路径更干净,训练稳定性更好,Llama、GPT 系列都采用 Pre-LN 结构。

四、LayerNorm、BatchNorm、RMSNorm 横向对比表

归一化类型统计维度是否依赖 batch特点LLM 使用情况
LayerNorm单个 token,特征维度不依赖减均值 + 除方差,有 γ、β原始 Transformer
BatchNorm同一个特征,整批样本强依赖批次统计,推理时用滑动均值LLM 几乎不用,CV 常用
RMSNorm单个 token,特征维度不依赖去掉减均值,只做 RMS 缩放,只有 γ现代主流大模型(Llama、Mistral)

五、LayerNorm 核心优势(LLM 场景)

  1. 不受 batch 大小限制,推理时 batch=1 也正常工作,适合线上生成
  2. 支持变长文本序列,NLP 输入长度不固定,不会出现统计漂移
  3. 稳定激活分布,减少内部协变量偏移,允许设置更大学习率
  4. 梯度流动更平稳,上千层的大模型也能顺利训练

六、常见踩坑点

  1. 不要误以为 LayerNorm 是对整个 Transformer 层做归一化,它是逐 token归一化
  2. ε 不能省略,数值稳定性很关键,不同框架默认值不一样
  3. Pre-LN 和 Post-LN 不能随便互换,会影响收敛和 loss 曲线
  4. RMSNorm 是 LayerNorm 的简化变体,不是完全等价,只是工程上效果接近

【常见问题】

问题 1:大模型 LLM 里为什么优先用 Layer normalization,而不是 BatchNorm?

回答 1:Layer normalization 按单个 token 特征维度统计,不依赖 batch 尺寸,适配 LLM 变长输入、推理时 batch=1 的场景;BatchNorm 依赖整批样本统计,文本序列长度变化大、小 batch 推理时分布漂移严重,所以大模型基本不使用 BatchNorm。

问题 2:Layer normalization 和 RMSNorm 有什么核心区别?

回答 2:Layer normalization 会减去均值、再除以标准差,同时保留 γ 和 β 两个可学习参数;RMSNorm 删掉了减均值这一步,只使用均方根做缩放,一般只保留 γ,计算量更低、速度更快,是现在 LLM 主流选择。

问题 3:Pre-LN 结构里的 Layer normalization 放在哪个位置?

回答 3:Pre-LN 是先执行 Layer normalization,再送入多头注意力或者前馈网络,残差分支直接绕开子层,梯度通路更稳定,是当前绝大多数 LLM 采用的 Layer normalization 排布方式。

【参考资料】

[2026-09-16](LayerNorm 与 RMSNorm 大模型原理详解)腾讯云开发者社区

[2026-08-18](Modern Architecture Improvements & Design Choices — The LLM Stack)Prakash Kagitha 技术博客

[2026-04-14](Transformer 归一化面试知识点梳理)腾讯云开发者社区

[2016-07-21](Layer Normalization 原始论文)arXiv

【免责声明】

本文 Layer normalization 相关原理、公式、结构对比为通用深度学习理论内容,不同开源大模型框架(PyTorch、Megatron-LM、vLLM)里的 LayerNorm、RMSNorm 实现细节、超参 ε 取值存在差异;训练效果、收敛特性受模型规模、学习率、数据分布共同影响,内容仅作为 LLM 基础学习参考,不保证适配所有自研模型。

今日大家都在搜的词: