很多 AI 工程师在 PyTorch 里开启 FP16 混合精度训练之后,训练 loss 直接变成 NaN 或者 Inf,核心原因就是 FP16 浮点的数值范围很小,梯度很容易发生上溢或者下溢,GradScaler 就是专门用来做动态损失缩放,解决这个数值不稳定问题的工具,它不是简单固定乘一个系数,会自动检测梯度里的 NaN、Inf,动态调整缩放因子,异常的时候直接跳过本轮参数更新,防止权重被污染。不少新手误以为加上 GradScaler 就一定不会出 NaN,实际上它只是缓解 FP16 的数值缺陷,如果缩放因子设置不合理、模型本身梯度爆炸、部分算子不支持 FP16,依然会炸出 NaN;另外 BF16 本身数值范围和 FP32 一致,用 BF16 混合精度的时候,一般不需要 GradScaler,这也是高频踩坑点。下面把 FP16 和 BF16 差异、GradScaler 内部流程、NaN 常见诱因、排查步骤整理清楚。
一、FP16 / BF16 浮点范围对比
| 浮点类型 | 可表示范围 | 是否需要 GradScaler | 典型场景 |
|---|---|---|---|
| FP16(float16) | 约 6.1e-5 ~ 65504 | ✅ 需要 | 老款 NVIDIA 显卡,追求速度、省显存 |
| BF16(bfloat16) | 和 FP32 一致 | ❌ 一般不需要 | 新卡 A100、H100、RTX40 系,大模型训练 |
| FP32(float32) | 1.4e-45 ~ 3.4e38 | 不需要 | 基准训练,精度最稳、显存开销大 |
二、GradScaler 完整执行流程
- 放大 loss:scaler.scale (loss),把 loss 乘上 scale 因子,根据链式法则,反向传播出来的梯度同步放大,避免很小的梯度直接下溢变成 0
- 反向传播:scaled_loss.backward (),在 FP16 环境里算出放大后的梯度
- 检查梯度 + 反缩放:scaler.step (optimizer),内部先检查所有梯度有没有 NaN/Inf;没有异常就把梯度除以 scale,还原成真实梯度,再执行参数更新;如果检测到异常,直接跳过本轮更新
- 动态调整 scale:如果连续多轮正常,scale 慢慢放大;一旦抓到 NaN/Inf,立刻降低 scale,下一轮重新尝试
- 清空梯度:optimizer.zero_grad (),进入下一轮循环
三、开启混合精度出现 NaN 的 4 个核心诱因
- 缩放因子过大:scale 太高,梯度放大之后超出 FP16 上限,发生上溢,直接变成 Inf,进而变成 NaN
- 模型本身梯度爆炸:loss 设计不合理、学习率太大、梯度裁剪没开,哪怕用 GradScaler,依然会溢出
- 算子不支持 FP16:部分自定义算子、除法、开根号、log 等运算在 FP16 下数值不稳定,autocast 没有自动转 FP32
- 混用多 loss、多次 backward:多个 loss 分别 scale,缩放逻辑冲突,梯度被反复放大
四、从报错到修复的排查步骤
- 先确认精度类型:如果是新显卡,优先切换成 bf16,直接规避 FP16 数值范围问题
- 打印 scaler 状态:实时打印 scaler.get_scale (),观察 scale 是不是持续暴跌到 1 甚至更低
- 开启梯度裁剪:torch.nn.utils.clip_grad_norm_(model.parameters (), max_norm=1.0),抑制梯度爆炸
- 拆分算子:把 log、sqrt、除法这类敏感计算放到 autocast 外面,强制 FP32 计算
- 调低初始 scale:初始化 GradScaler 的时候设置 init_scale=1024,而不是默认 65536
- 隔离测试:关闭 AMP 跑一轮,确认不用混合精度时会不会 NaN,区分是模型本身问题还是 AMP 问题
五、高频误区清单
- 误区 1:GradScaler 可以根治所有 NaN
- 误区 2:BF16 训练也必须加 GradScaler
- 误区 3:只要出现 NaN,就是 scale 太小
- 误区 4:scaler.step 和 optimizer.step 分开写
GradScaler 只解决 FP16 梯度下溢,解决不了学习率过大、loss 设计错误、算子 bug 带来的梯度爆炸
BF16 值域和 FP32 一致,不存在下溢,不需要梯度缩放,加了反而容易出异常
很多时候是 scale 太大,梯度放大之后溢出,要区分下溢和上溢两种情况
正确写法是 scaler.step (optimizer),不要自己单独调用 optimizer.step,会跳过 NaN 检测和 unscale 逻辑
【常见问题】
问题 1:开混合精度就出现 NaN,GradScaler 到底在做什么?
回答 1:开混合精度就出现 NaN,GradScaler 会先放大 loss 同步放大梯度,防止 FP16 小梯度下溢归零;在优化器更新前检测梯度是否存在 NaN、Inf,异常就跳过更新,正常则反缩放梯度,并且动态调整缩放因子,用来适配 FP16 狭窄的数值范围。
问题 2:开混合精度就出现 NaN,BF16 还需要使用 GradScaler 吗?
回答 2:开混合精度就出现 NaN,BF16 的数值范围和 FP32 保持一致,不会发生梯度下溢,正常训练场景不需要 GradScaler,只有 FP16 混合精度训练才依赖 GradScaler 做梯度缩放。
问题 3:开混合精度就出现 NaN,GradScaler 不断降低 scale 是什么信号?
回答 3:开混合精度就出现 NaN,GradScaler 不断降低 scale,代表当前缩放值偏大,梯度已经出现上溢 NaN,scaler 在自动下调 scale,降低梯度放大倍数,尝试找到稳定的数值区间。
问题 4:开混合精度就出现 NaN,就算加上 GradScaler 依然报错该怎么排查?
回答 4:开混合精度就出现 NaN,加上 GradScaler 还报错,优先切换 bf16 验证、打印 scale 值、增加梯度裁剪、把 log、开方等敏感算子强制 FP32 计算,同时关闭 AMP 跑一遍,确认是模型梯度爆炸还是 FP16 数值问题。
【参考资料】
[2026-11-19](手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI 工程师踩坑实录・第 11 篇)博客园
[2026-11-18](PyTorch AMP 官方文档:GradScaler 与梯度缩放原理)PyTorch 中文文档
[2026-11-10](混合精度训练 FP16 NaN 排查指南,梯度上溢下溢区分)Hivebook
[2026-10-25](NVIDIA 官方博客:Loss Scaling 原始原理)NVIDIA Developer Blog
[2026-09-01](大模型训练 bf16 与 fp16 选型、amp 踩坑汇总)掘金
【免责声明】
本文混合精度、GradScaler 相关内容仅为 AI 工程技术资讯整理,不同显卡、模型结构、loss 函数、算子实现都会影响数值稳定性;代码调试、参数修改、精度选型需要结合自身实验验证,本文不构成线上训练方案承诺。
