您的位置首页 >人工智能 >

Ropedia Xperience 2 拆解1,589 个真实场景加 131 小时第一视角,具身数据的新底座

这个题目涉及一家具体公司和一款新数据集,我先去找原始发布信息。

原始报道和 arXiv 技术报告都对上了,我读一遍机器之心的完整版补细节。

核心数据齐了,我再补一下 Ropedia 的公司背景和融资情况。

技术报告、机器之心原文和公司背景,我都已经核对完。以下是成稿。

2026 年 11 月 13 日,新加坡 Physical AI 数据公司 Ropedia 发布 Xperience 2:1,589 个度量级真实场景的三维扫描,加上 74 项任务、4,230 段录像、共 131 小时的第一视角人类活动记录,两者被放进同一个与重力对齐的坐标系里,场景几何、相机轨迹、双手与全身姿态、三层语言标注全部对齐。它最不一样的地方是采集方式 —— 不用机器人、不用动捕棚,靠一把手持激光雷达扫描房间,再靠一个头戴记录仪 HOMIE Headset 2 记录人怎么干活;采完之后同一份数据还能被反复利用:转成可交互仿真环境、把人的动作重定向成机器人全身轨迹、在仿真里做虚拟遥操作、用程序批量生成长时程轨迹。arXiv它想回答的问题很具体:大模型有 Scaling Law,物理智能的规模定律该沿哪个轴扩展 —— 环境,还是行为?

一、先看清它要解决的是哪个真问题

场景成绩出处
GPT-6 Astra 在 RoboDojo 平均成功率22.48%,登顶、超过全部 40 个公开策略机器之心引联合研究
Claude Fable 5.2 在 RoboDojo64.9%,上一代 Fable 5.1 为 27.6%同上
GPT-6 Astra 真机插插头11 次尝试全部失败8 种真机配置联合评测
GPT-6 Astra 真机长程导航找物23 次尝试成功 9 次同上
把笔放进笔筒(真机)耗时 4 个多小时、花费 55 美元同上

36氪这组数字摆在一起说明一件事:仿真榜单已经被通用大模型刷穿,真机上的长时程、接触密集型任务仍然是硬骨头。瓶颈不在 "模型会不会想",而在 "有没有足够多、足够真的环境与行为数据让它练"。

二、这套数据到底有多大

维度数字
已发布场景扫描1,589 个(度量级、真实尺度)
整体采集覆盖地点596 处,其中 443 处为整户住宅
任务录像4,230 段
任务数74 项
总时长131 小时
场景类别12 类真实空间
住宅占比1,389 个、87.4%;卧室加客厅 976 个、61.4%
任务类型取放、清洁、整理、折叠、检查五类
动作分布放入或取出 25 项、擦拭清洁 23 项、摆放整理 18 项
工作与零售场景任务31 项来自餐厅、商店、办公室

arXiv注意 "1,589 个已发布场景" 和 "596 处地点" 是两个口径:前者是本次放出的扫描,后者是整体采集库存,不能直接相除。

三、怎么采:先扫房间,再录人

步设备产出
1手持激光雷达扫描仪,从多个角度扫房间带真实尺度的场景网格、3DGS 重建、图像、相机位姿、稀疏点云,共用一个与重力对齐的坐标系
2操作员戴上 HOMIE Headset 2,逐项完成任务四路全局快门鱼眼相机 + 惯性传感器 + 四声道音频,其中两路朝前拍双手和操作物
3自动化处理相机运动轨迹、深度、双手与全身姿态估计,视频 / IMU / 音频按时间对齐
4标注三层语言标注:整段在做什么、各子任务何时发生、每帧物体与双手的状态
5配准找出录像在扫描场景中的位置,把轨迹与姿态变换到场景坐标系

这套流程的关键设计是 "一次扫描、多段录像"—— 同一间厨房扫一遍,可以在里面录十几段不同的任务,空间上下文只付一次成本。HOMIE 本体约半磅重、戴在头顶四个正向布相机、不挡视线,所以能进住宅、餐厅、商店、办公室和户外。

四、对齐质量怎么保证

配准不是 "跑完就算",系统会做三项检查:留出的验证帧能否对上、重力方向是否一致、深度与网格是否吻合;然后给每段录像打 PASS、WEAK、FAIL 标签,让使用者自己筛。

标签含义用法建议
PASS三项检查全部通过可直接用于训练与评测
WEAK部分指标临界可用于鲁棒性分析,慎用于监督训练
FAIL配准失败建议剔除

这一步是整个数据集可信度的地基。没有 PASS/WEAK/FAIL,使用者拿到的就是一堆 "看起来对齐" 的数据,出了问题无法归因。

五、三项基准:空间能力第一次能被 "具体检查"

三项基准都建在同一组 20 个真实扫描场景上:

基准测什么最好表现说明
几何重建从图像恢复表面与相机运动π³ 在三档输入下轨迹误差最低、表面重建 F 值最高;DA3-Giant 在中 / 稠密输入下位姿领先11 个模型参与比较,几何评测用中等输入(11–100 帧)
三维物体检测识别目标并预测三维框Boxer AP@0.25 为 24.69%,AP@0.5 仅 6.09%真实环境精确定位仍是难点
空间问答500 题,覆盖平移、旋转、距离、深度、高度、相对位置Gemini 3.8 Flash 74.2%,GPT-6 Astra(High)71.8%高度与相对位置两项均超 90%

这三张表里最值得盯的是 AP@0.5 的 6.09%:它说明模型 "大致知道东西在哪",但 "精确到什么位置" 还差得远。而机器人要抓东西,恰恰需要后一种能力。

六、一鱼四吃:同一份采集的四种用法

用法做什么关键数字
Real-to-Sim把扫描场景转成可交互仿真环境,给物体加碰撞、关节、物理属性一个住宅转出 107 个物体、73 个可交互;含 9 个铰接物体、8 个有限元软体、4 块布料
动作重定向把对齐后的人体与手部动作,换算成机器人全身轨迹4 段录像共 10.3 分钟,0.5 倍速重定向,底盘行驶 96 米,35%–41% 帧在移动
虚拟遥操作人接入仿真场景实时控制机器人,物体会随动作变化省掉把实体机器人运到现场和人工复位
长时程轨迹生成用策略程序连续完成多步子任务,批量产出完整轨迹八步任务、30 个初始状态、30 次全成功

仿真与扫描的一致性有量化:在图示视角里,仿真表面与扫描网格的距离中位数约 2.5 厘米,约 79% 的像素距离不超过 5 厘米。团队还做了一个对照 —— 让 GPT-6 Astra 只凭图像搭场景、不给 3DGS,结果颜色、尺寸、位置都出现偏差,电视、冰箱、微波炉、水壶的三维框也偏离了它们在 3DGS 中的位置。这个对照的言外之意很清楚:光靠视觉模型 "想象" 出来的场景,不能当训练场。

七、重定向的精度,是这套方法能不能成立的关键

指标结果
指尖跟踪误差中位数0.40–0.55 厘米
指尖误差 95 分位全部低于 2 厘米
关节速度峰值上限的 90%
关节力矩峰值上限的 89%
零力矩点距支撑多边形边界至少 0.46 厘米
约束检查通过率所有帧全部通过

这里有个必须说清的限制:重定向得到的是 "运动参考",回放发生在 3DGS 场景里,物体不会随动作移动。机器人能不能真抓住杯子、稳稳放进柜子,还得放进可交互仿真里验证 —— 这两步是分开的,不能混为一谈。

八、长时程:从厨房走到卧室的八步任务

演示任务是一条不断链的连续操作:轮式双臂机器人从厨房台面拿杯子→打开微波炉→放入杯子→关门加热→取出杯子→再次关门→推开卧室门→把杯子放到床头柜。

指标数值
子任务数8 步,中途不重置场景
预留初始状态30 个,机器人与杯子位置各不相同
成功率30 次全部完成八步,且通过任务规则检查
单条轨迹控制步3,869–4,255 步(30 Hz)
平均仿真时长约 2.2 分钟
单条轨迹生成耗时10–16 分钟(单个仿真进程)
单进程一天理论产量90–144 条

验收由仿真器里的物体状态决定 —— 杯子不能倒、不能掉,电器和门要在要求的状态。这比 "人看着像成功了" 严格得多,也是它敢称 "轨迹可批量生产" 的底气。

九、和真机采集比,省在哪

维度DROID(真机遥操作)Ropedia Xperience 2
场景数564 个1,589 个已发布扫描(库存 596 处地点)
数据时长350 小时机器人演示131 小时人类第一视角 + 可再生成的仿真轨迹
人力50 名操作员扫描与录制可由少量操作员完成
周期12 个月单场景扫描 + 多任务录制,可按需扩
机器人依赖必须把机器人运到现场、每轮人工复位采集阶段不需要机器人
扩展方式加人、加机器人、加时间加扫描仪、加录制人员、加算力

公司对外主张采集成本最多可降 50 倍,但这是企业口径,论文里没有给出同等严格的全成本核算 —— 真机验证、仿真调参、失败重采这些隐性成本都要算进去才公平。

十、五个还没解决的问题

问题具体表现
仿真与真机的保真差论文自己写明 "实际效果仍需通过真机实验检验"
场景偏住宅住宅占 87.4%,卧室加客厅 61.4%,工业、户外、特种环境覆盖薄
任务偏日常取放、清洁、整理、折叠、检查五类为主,精密装配、接触力控制类任务少
三维标注仍弱最好的检测模型 AP@0.5 只有 6.09%,标注质量本身是瓶颈
自采自评基准由自家数据构建、自家团队评测,"金标准" 这个说法需要第三方复现才有分量

最后一条不是挑刺,是方法论提醒:数据公司定义基准、又用自家数据刷自家基准,这个结构天然容易得出乐观结论。真正有说服力的验证,是别人拿这套数据训出的策略,在别人的真机上跑出更好的成绩。

十一、这家公司什么来头

项信息
总部新加坡,另设硅谷办公室
成立2025 年下半年(有英文报道写作 2024 年,口径不一)
创始团队陈昭熹(CEO,清华本科、南洋理工博士,曾在 Meta 做光学动捕数据体系)、洪方舟(CTO,清华本科、南洋理工博士,Meta 第一人称多模态)、刘子纬(首席科学家,南洋理工副教授)
科学委员会吕健勤(南洋理工校长讲席教授、CVPR 2026 程序大会主席)
融资累计约 3,000 万美元;2026 年 7 月完成 2,200 万美元 pre-A,8 月另有 "数千万美元天使轮" 报道
前作Xperience-10M:约 1,000 万片段、1 万小时、近 1PB,Hugging Face 具身数据集下载量第一
客户20 余家头部具身企业,约 1,800 家机构在用

36氪Xperience 2 的定位因此很清楚:它不是又一个 "更大的数据集",而是把上一代纯第一视角行为数据,补上了 "行为发生在哪个空间" 这一半。

一句能落地的判断:Xperience 2 真正值钱的不是 1,589 这个数字,而是 "扫描一次、复用多次" 的结构 —— 场景可反复加载、动作可持续重定向、轨迹可靠算力批量生成;判断它成不成,别看论文里的基准分,看半年后有没有第三方用它训出的策略在真机上把插插头这件事做成功。

【常见问题】

问题 1:Ropedia Xperience 2 是什么,和普通具身数据集有什么区别?

回答 1:Ropedia Xperience 2 是一套面向 Physical AI 的真实环境与行为数据集,包含 1,589 个度量级三维场景扫描和 74 项任务、4,230 段、131 小时的第一视角人类活动录像,两者在同一坐标系中对齐。和常见数据集最大的区别是 "环境与行为成对":ScanNet++、Realsee3D 这类只有三维场景没有人的任务录像,EPIC Fields、Nymeria 这类只有人的活动但大多不给场景网格,Xperience 2 把两半拼在一起,并对齐到真实尺度。

问题 2:Ropedia Xperience 2 的数据是怎么采的,需要机器人吗?

回答 2:采集阶段不需要机器人,也不需要动捕棚。操作员先用手持激光雷达从多个角度扫描房间,得到带真实尺度的网格、3DGS 重建、相机位姿和稀疏点云;然后戴上 HOMIE Headset 2 逐项完成任务,设备用四路全局快门鱼眼相机、惯性传感器和四声道音频记录,其中两路相机专门拍双手和操作物。之后自动化流程估计相机轨迹、深度、双手与全身姿态,并生成三层语言标注,最后把录像配准到扫描场景坐标系。

问题 3:Ropedia Xperience 2 里的 "一鱼四吃" 具体指哪四种用法?

回答 3:四种:Real-to-Sim 把扫描场景转成带碰撞、关节和物理属性的可交互仿真;动作重定向把对齐后的人体与手部动作换算成机器人全身轨迹;虚拟遥操作让人接入仿真实时控制机器人,省掉把实体机器人运到现场和人工复位;长时程轨迹生成用策略程序连续完成多步子任务,批量产出完整轨迹。这四种用法共用同一次真实采集,所以单次采集的边际价值被放大了。

问题 4:Ropedia Xperience 2 的效果有量化验证吗,数据怎么样?

回答 4:有几组硬数字。Real-to-Sim 场景与扫描网格的表面距离中位数约 2.5 厘米,79% 的像素距离不超过 5 厘米;动作重定向的指尖误差中位数 0.40–0.55 厘米,95 分位低于 2 厘米,关节速度与力矩峰值分别为上限的 90% 和 89%,所有帧通过约束检查;八步长时程任务在 30 个不同初始状态下 30 次全部完成。但这些都是仿真与内部评测口径,论文自己写明实际效果仍需真机实验检验。

问题 5:Ropedia Xperience 2 能替代真机遥操作采集吗?

回答 5:短期不能替代,是补充。它的优势在成本与可扩展性 —— 采集不需要机器人、场景可反复加载、轨迹可用算力批量生成;劣势在保真度,仿真里的接触、摩擦、柔性物体行为与真机有差距,重定向得到的只是运动参考,物体不会随动作移动。更现实的用法是:用它做预训练和大规模试错,再用真机数据做校准与验收,两条腿走路比只押一边稳。

问题 6:怎么看 Ropedia Xperience 2 自称 "金标准",可信吗?

回答 6:可以看,但要带着两个折扣。一是场景分布偏住宅(住宅占 87.4%,卧室加客厅 61.4%),工业、户外、特种环境覆盖薄,任务是取放、清洁、整理、折叠、检查五类为主,精密装配类偏少;二是自采自评结构,基准由自家数据构建、自家团队评测,天然容易乐观。真正能证明它是不是金标准的,是第三方拿这套数据训出的策略在第三方真机上跑出的结果,而不是论文里的自评分数。

【参考资料】

[2026-11-13](后 GPT-6 时代,具身数据怎么做?Ropedia 发布 Xperience 2,给出下一代数据基石金标准)机器之心

[2026-11-13](Ropedia Introduces Xperience 2 As the Gold Standard to Scaling Physical AI Data Infrastructure)EIN Presswire

[2026-11-13](SG physical AI startup Ropedia expands robotics training data)Tech in Asia

[2026-11-12](Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors)arXiv

[2026-10-19](GPT-6-Astra 具身能力遭大考,传统基准拿满分,真机频碰壁)36 氪

[2026-08-06](清华系物理 AI 基建初创再融数千万美元,数据设备进入全球化规模交付)36 氪

[2026-07-23](Ropedia Raises $30 Million to Scale Data Infrastructure for Physical AI)Business Wire

[2026-07-23](Ropedia raises $22M to scale human-centric data collection for embodied AI)SiliconANGLE

免责声明:本文依据 2026 年 11 月 14 日前公开的技术报告、企业新闻稿与媒体报道整理,属于对公开技术信息与数据的解读,不构成投资建议、采购建议或对任何公司技术路线的前景判断。文中所有数据集规模、基准分数、误差指标均来自 Ropedia 技术报告(arXiv:2611.17060,2026-11-12 提交)及其对外发布材料,属该公司自采自评口径,未经独立第三方复现;"金标准" 是发布方的自我定位,不是行业公认结论。"采集成本最多降 50 倍" 为企业对外表述,未见同等严格的全成本核算,实际成本取决于场景复杂度、重采率与真机验证投入。公司成立时间(2025 年下半年与 2024 年两种说法)与融资轮次命名(天使轮、pre-A、累计 3,000 万美元)在不同报道中存在口径差异,本文已并列标注,具体以公司官方披露为准。数据集目前偏重住宅与日常任务,向工业、户外、精密装配场景的泛化能力尚无公开验证。涉及数据采购、模型训练投入或投资决策,请结合自身场景做独立评估。

今日大家都在搜的词: