大模型 LLMs 的训练核心就是靠损失函数衡量预测和真实文本之间的差距,自回归类大模型预训练阶段主流用交叉熵损失(也叫负对数似然 NLL),先算出每个 token 预测错多少,再通过反向传播更新模型权重,一步步降低损失值;不同训练阶段,比如预训练、有监督微调、人类偏好对齐,会切换不一样的损失函数,不是全程只用交叉熵,不同损失函数的优化目标不一样,有的学文本规律,有的对齐人类喜好,理解每种损失的适用场景,才能看懂 LLMs 训练流程和效果瓶颈。
一、LLMs 损失函数基础概念
- 损失函数作用:给模型的预测结果打分,数值越大,代表模型猜出来的 token 和真实 token 偏差越大;训练目标就是持续降低损失值。
- 基础关系:交叉熵损失 = 负对数似然(NLL),KL 散度可以用来辅助理解分布差异,但 LLM 预训练不会直接最小化 KL 散度。
- 配套指标:困惑度 Perplexity,就是交叉熵损失取指数,方便直观评估语言模型流畅度,损失越低,困惑度越低。
- 计算规则:按 token 粒度单独计算损失,序列里 padding 占位符一般设置 ignore_index,不参与损失计算,避免无效干扰。
二、LLMs 各阶段主流损失函数清单
| 损失函数 | 适用阶段 | 核心作用 | 简单特点 |
|---|---|---|---|
| 交叉熵损失(NLL) | 预训练、SFT 有监督微调 | 预测下一个 token,学习文本统计规律 | 自回归 GPT 类模型标配,计算稳定、容易收敛 |
| MLM 掩码语言损失 | BERT 类双向编码器预训练 | 预测被 [MASK] 遮盖掉的 token | 上下文双向可见,擅长理解语义,不适合直接生成文本 |
| DPO 直接偏好优化损失 | RLHF 对齐阶段(主流替代 PPO) | 对比好坏回答,对齐人类偏好 | 不需要单独训练奖励模型,工程落地更简单稳定 |
| PPO 损失 | 传统 RLHF 对齐阶段 | 依靠奖励模型打分,优化输出偏好 | 训练链路长、超参难调,现在很多大模型改用 DPO |
| KL 散度约束项 | 对齐全阶段配套 | 限制新模型不要和原始基座模型偏离太远 | 防止模型出现灾难性遗忘、乱编内容 |
三、交叉熵损失(LLM 最核心)通俗说明
自回归 LLM 是根据前面一串 token,预测下一个 token,词表一般几万到十几万。
- 真实标签是独热分布:正确 token 位置概率为 1,其余全部是 0
- 模型输出 softmax 后的概率分布
- 公式简化理解:loss = -log (模型给到真实 token 的概率)
举例子:真实下一个词是 “苹果”,模型给到 “苹果” 95% 概率,loss 很小;只给到 1% 概率,loss 会很高,模型就会被反向传播修正权重,下次给正确 token 更高概率。
四、对齐阶段 DPO 损失简单逻辑
DPO 不用单独训奖励模型,直接拿一对 “优选回答、劣选回答” 数据,对比当前模型和原始参考模型在两条回答上的概率比值,构造损失;目标就是拉高优质回答相对劣质回答的概率,在对齐人类偏好的同时,搭配 KL 约束,稳住基座原本的语言能力。
五、损失常见误区
- 误区 1:损失等于准确率。LLM 是概率生成任务,损失看置信度,不是简单对错;猜对但信心不足,损失依旧偏高。
- 误区 2:损失可以降到 0。自然语言本身存在不确定性,损失会收敛到一个下限,无法无限降到 0。
- 误区 3:对齐阶段只用 DPO 损失。DPO 一般搭配 KL 惩罚项一起使用,单独使用容易出现分布漂移。
【常见问题】
问题 1:LLMs 损失函数里的交叉熵损失,主要用在大模型哪个环节?
回答 1:LLMs 损失函数里的交叉熵损失,主要用在大模型预训练和 SFT 有监督微调环节,是 GPT 这类自回归大模型学习文本、预测下一个 token 的基础损失。
问题 2:LLMs 损失函数中 DPO 损失和 PPO 损失的差别是什么?
回答 2:LLMs 损失函数里 DPO 损失不需要训练独立奖励模型,链路短、更稳定;PPO 损失依赖奖励模型打分,是传统 RLHF 方案,调参难度更大,现在很多新模型优先选 DPO 损失。
问题 3:LLMs 损失函数的 KL 散度是用来直接训练主损失的吗?
回答 3:KL 散度一般不作为 LLMs 损失函数的主损失,大多是对齐阶段作为约束项,用来限制微调后的模型和原始基座模型差距,避免模型学偏、遗忘原有能力。
问题 4:MLM 掩码语言损失属于 LLMs 损失函数吗,适合做文本生成吗?
回答 4:MLM 掩码语言损失属于 LLMs 损失函数,多用于 BERT 双向编码器,适合语义理解任务,它不是自回归结构,不适合直接做流式文本生成。
【参考资料】
[2026-11-17](大模型 (LLMs) 基础面:LLMs 损失函数篇)阿里云开发者社区
[2026-08-18](The Pretraining Objective & Loss — The LLM Stack)Prakash Kagitha
[2026-04-01](Optimizers & Loss Functions for LLMs/VLMs)karam-nus.github.io
【免责声明】
本文关于 LLMs 损失函数内容为技术科普讲解,不同厂商自研大模型会对损失函数、约束项做定制化改造;模型训练效果、收敛特性受数据集、超参、框架实现影响,内容仅用于学习参考,不代表任何商用模型的真实训练方案。
