英伟达最新放出的方案,只需要两段提示词,就能在 NVIDIA Cosmos 平台里搭建好一套完整、拿来就能训练的物理 AI 数据集,大幅降低机器人、自动驾驶这类实体智能场景的数据制作门槛。过去做物理 AI 数据集,要手动写大量代码、调数据流水线、标注、筛选校验,整套流程耗时很长,稀有场景、危险场景的数据还很难采集;现在借助 Cosmos Data Factory 的智能代理能力,第一段提示词用来拉起整套数据流水线蓝图,第二段提示词用来定义数据集本身的场景、规则、物理约束,整套流程自动编排、自动标注、自动质检,最终产出合规、带标注、时序稳定的视频数据集。这套方案支持自动驾驶、工业缺陷检测、机器人操作、特殊光照天气场景等多个方向,官方测试里,在搭载 8 张 RTX PRO 6000 Blackwell 显卡的服务器上,数据集组装速度最高提升 60 倍,自动驾驶场景生成成本相比传统方式降低 45 倍。
核心组件介绍
- Cosmos Data Factory(CDF):整套方案的核心,自带 5 套云原生蓝图、6 个可自由组合的智能技能,包括自动标注、异常生成、数据增强、筛选检索、仿真生成、流程编排,技能可以单独调用,也能拼接成自定义管线。
- 两段提示词分工
- 第一段提示词:交给代码智能代理,用来拉取 CDF 编排脚本、初始化集群资源、启动整套数据工作流蓝图,相当于搭建流水线骨架。
- 第二段提示词:定义数据集需求,写清楚场景类型、物理规则、物体运动逻辑、光照天气、标注要求、样本数量,用来控制生成内容。
- 配套校验工具:Cosmos Evaluator 自动打分,检查生成视频物理合理性、时序一致性、标注是否对齐,过滤掉不符合物理规律的无效样本。
完整操作步骤
- 准备环境:部署 NVIDIA Cosmos 平台,准备好 CDF 编排组件,配置对应的 GPU 计算集群。
- 输入第一段提示词:启动智能代理,加载 CDF 蓝图,调度集群资源,初始化数据生成、标注、筛选整套工作流。
- 输入第二段提示词:写明数据集目标,例如 “生成雨天城市道路自动驾驶视频,包含车辆、行人,符合交通物理规则,输出带 2D 框标注的训练样本”。
- 自动执行生成:系统调用仿真、视频生成、自动标注模块,批量产出视频样本。
- 自动质检过滤:Evaluator 校验物理合理性、画面时序稳定性,剔除异常样本。
- 输出就绪数据集:整理成物理 AI 模型直接读取训练的格式,可用于机器人、自动驾驶模型训练。
适用场景清单
- 自动驾驶:黑夜、雨雪、极端天气、少见事故等长尾场景数据扩充
- 工业视觉:产品缺陷检测样本批量生成
- 机器人:机械臂抓取、仓库搬运、室内导航交互场景
- 实景增强:对已有实拍视频做光照、季节、背景改造,保留原有几何结构
【常见问题】
问题 1:NVIDIA Cosmos 两段提示词生成物理 AI 数据集,两段提示词分别写什么?
回答 1:第一段提示词负责拉起 Cosmos Data Factory 的编排流水线,让代理加载蓝图、调度集群资源;第二段提示词负责描述数据集的场景、物理规则、标注、样本数量等内容,控制生成视频的内容,二者配合完成数据集制作。
问题 2:用 NVIDIA Cosmos 两段提示词做物理 AI 数据集,相比传统数据采集方式优势是什么?
回答 2:不用大量实地采集危险、稀有场景,自动标注、自动校验,速度最高提升 60 倍,自动驾驶场景生成成本下降 45 倍,还能灵活控制天气、光照、物体运动等变量,补齐真实数据里缺少的长尾样本。
问题 3:NVIDIA Cosmos 两段提示词生成的物理 AI 数据集,可以直接拿来训练机器人模型吗?
回答 3:可以,输出的数据集自带标注,经过 Cosmos Evaluator 校验物理与时序一致性,格式适配物理 AI 训练管线,能够直接用于机器人、自动驾驶等实体智能模型训练。
问题 4:运行 NVIDIA Cosmos 两段提示词的物理 AI 数据集方案,需要什么硬件?
回答 4:官方测试使用 8 张 RTX PRO 6000 Blackwell 系列 GPU 的云服务器,本地工作站也可以小批量测试,大批量生成建议搭配 Blackwell 架构 GPU 集群。
【参考资料】
[2026-11-18](Build Training-Ready Physical AI Datasets with Two Prompts in NVIDIA Cosmos)NVIDIA Technical Blog
[2026-05-31](Develop Physical AI Reasoning, World, and Action Models with NVIDIA Cosmos 3)NVIDIA Technical Blog
[2025-12-01](How to Scale Data Generation for Physical AI with the NVIDIA Cosmos Cookbook)NVIDIA Technical Blog
【免责声明】
本文内容仅为行业资讯整理,不构成技术落地指导、投资建议;相关性能数据、效果指标来自 NVIDIA 官方公开博客测试结果,实际效果受硬件配置、提示词编写、场景复杂度影响;NVIDIA Cosmos 相关功能、接口随时可能迭代调整,请以 NVIDIA 官方最新文档为准。
