大模型 LLMs 损失函数基础从预训练到对齐全解析

大模型 LLMs 的训练核心就是靠损失函数衡量预测和真实文本之间的差距,自回归类大模型预训练阶段主流用交叉熵损失(也叫负对数似然 NLL