开混合精度就出现 NaN,GradScaler 原理与踩坑解析|AI 工程师踩坑实录

很多 AI 工程师在 PyTorch 里开启 FP16 混合精度训练之后,训练 loss 直接变成 NaN 或者 Inf,核心原因就是 FP16 浮点的数值