英伟达推出 Foundation4D 自动驾驶感知重建统一前馈模型，这套模型只用一套共享主干网络，一次前向推理就能同时输出场景几何深度、3D 目标检测、语义占用、高斯泼洒重建四类结果，不再需要多套独立网络分开跑感知和重建任务，大幅减少重复计算和不同模块之间结果不一致的问题；模型采用因子化时空注意力融合多路相机和时序信息，搭配位姿图优化模块，在 nuScenes 数据集上 3D 检测 mAP 指标拿到当前最优水平，同时 Waymo、nuScenes 上深度误差也是最低一档，OpenOccupancy 语义占用 mIoU 同样领先基线方案，长视频推理时会通过窗口融合、位姿图优化、RTS 后向平滑做轨迹校正，解决传统方案长时间运行相机轨迹漂移的痛点，它还配套放出 PAI-Foundation4D 标注基准数据集，包含 1253 段驾驶片段稠密深度和语义占用标签，输出结果也可以作为先验供给无激光雷达的 NuRec 仿真重建链路使用，适合自动驾驶无雷达感知、仿真场景生成这类场景。
Foundation4D 核心信息清单
- 模型名称：Foundation4D
- 模型类型：统一前馈感知重建模型
- 主干网络：DINOv2 ViT-L/14，因子化时空注意力
- 同时输出任务：几何深度估计、3D 目标检测、语义占用（Occupancy）、高斯重建（3DGS）
- 核心优化：Pose Graph Optimization 位姿图优化、RTS 平滑时序轨迹
- 公开数据集：PAI-Foundation4D，1253 段驾驶视频片段
- 标杆成绩：nuScenes 3D 检测 mAP 当前 SOTA；Waymo/nuScenes 深度 AbsRel 最低；OpenOccupancy 占用 mIoU 最高
- 适用方向：自动驾驶环视感知、无雷达感知、驾驶场景仿真重建
Foundation4D 对比传统多模块方案简表
| 项目 | Foundation4D 统一前馈方案 | 传统分开搭建多感知模块 |
|---|---|---|
| 推理方式 | 单主干一次前馈，多任务头并行输出 | 深度、检测、占用、重建独立网络串行运行 |
| 时序轨迹 | 位姿图优化 + RTS 平滑，长视频抑制漂移 | 各模块位姿独立，长时间容易累积漂移、不一致 |
| 任务协同 | 多任务联合训练，互相增益，检测 mAP 提升 1.2 点、位姿误差下降 13.4% | 任务独立训练，模块之间容易出现冲突、对齐困难 |
| 算力开销 | 共享主干，减少重复特征提取 | 多套主干，特征反复提取，算力开销更大 |
长视频抑制轨迹漂移的工作流程
- 滑动窗口逐段执行前馈推理，得到每段内相机位姿、3D 检测框、深度、高斯信息
- 对重叠窗口做位姿图优化，统一到全局世界坐标系
- 使用卡尔曼滤波做目标关联，RTS 后向平滑修正整条时序轨迹
- 拼接所有窗口结果，输出长时间稳定、不漂移的全局场景
多任务联合训练带来的收益说明
- 3D 检测搭配几何、占用任务一起训练，相比只训检测的版本，顶级类别 mAP 上涨 1.2
- 几何分支结合检测任务训练，相机外参平移误差相对纯几何训练降低 13.4%
- 语义占用和高斯重建共享场景表征，重建出来的 3D 场景语义更贴合真实路况
- 输出的几何、轨迹可以直接喂给 NuRec，用来生成自动驾驶仿真场景
【常见问题】
问题 1：NVIDIA Foundation4D 是前馈模型，它能同时输出哪些结果？
回答 1：NVIDIA Foundation4D 是前馈模型，可以一次前向推理同时输出场景几何深度、3D 目标检测、语义占用、高斯重建，不用分开跑多个独立网络。
问题 2：NVIDIA Foundation4D 在 nuScenes 数据集登顶指的是什么指标，长视频为什么不容易轨迹漂移？
回答 2：NVIDIA Foundation4D 在 nuScenes 数据集登顶是 3D 检测 mAP 指标，长视频依靠位姿图优化、卡尔曼关联、RTS 后向平滑校正时序，减少长时间累计误差，轨迹不容易飘。
问题 3：NVIDIA Foundation4D 配套放出的 PAI-Foundation4D 是什么？
回答 3：NVIDIA Foundation4D 配套放出 PAI-Foundation4D 基准数据集，包含 1253 段驾驶视频片段，带有稠密深度、语义占用标注，用来训练和评测这类统一感知重建模型。
问题 4：NVIDIA Foundation4D 主要面向什么场景，能不能直接用来做自动驾驶仿真？
回答 4：NVIDIA Foundation4D 面向自动驾驶环视感知、无激光雷达感知场景，它输出的几何和轨迹可以作为先验输入 NuRec，支撑自动驾驶仿真场景重建。
【参考资料】
[2026-11-13]（NVIDIA Foundation4D：一个前馈模型同时搞定几何、3D 检测、语义占用和高斯重建）3D 视觉工坊
[2026-11-04]（NVIDIA Foundation4D：一个模型同时做深度、3D 检测、Occupancy 和 3DGS）搜狐
[2026-10-21]（Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles）arXiv
[2026-10-28]（英伟达 Foundation4D | 轨迹误差直降 57%! 一次前向同时输出位姿 / 深度 / 检测 / 重建）B 站
【免责声明】
以上内容整理自 NVIDIA Foundation4D 论文、arXiv 公开论文以及行业技术媒体解读；Foundation4D 目前属于研究阶段学术模型，还没有正式量产上车，各项 SOTA 指标是在标准数据集下的评测结果，真实道路、恶劣天气下效果存在不确定性；内容仅做技术科普，不构成自动驾驶方案选型、采购落地的建议，量产方案以英伟达官方工程版本和车企落地公告为准。