上海 AI Lab 的 Intern Robotics 团队推出 EgoExplorer 可穿戴采集管线,只用 5 个追踪器、头戴相机和传感手套,就能替代传统需要基站、固定场地的动捕棚,在工厂、家庭、普通实验室这类真实环境里采集人形机器人训练用的多模态具身数据,解决传统动捕棚只能在封闭空间采集、设备笨重、没法跟着人去现场干活的痛点。这套方案靠稀疏传感器加上 C³ 校准 - 补全 - 约束算法做全身重建,5 个追踪器分别固定在头部、双手手背、双脚脚踝,采用 inside-out 自追踪,不需要在房间里布置任何外部基站,搭配头戴 GoPro 第一视角相机、MANUS 或者 Wuji 传感手套,同步记录第一视角画面、全身姿态、手指精细动作、触觉信息,还配套步骤级标注,整套穿戴几分钟就能装好,实测对比原有基线方案,身体点位误差降低 71.9%,还产出了时长超 100 小时的 EgoExplorer 数据集,专门用来学习人类边走边操作的联动动作,让具身机器人学会真实场景里的操作任务。
EgoExplorer 硬件清单
| 硬件 | 安装位置 | 作用 |
|---|---|---|
| VIVE Ultimate Tracker(5 个) | 头部、双手背、双踝外侧 | 6 自由度自追踪,输出位置姿态,无外部基站 |
| GoPro HERO13 | 头部,和头追踪器刚性固定 | 第一视角视频采集,对齐运动轨迹 |
| MANUS Metagloves / Wuji 手套 | 双手 | 捕捉手指关节,Wuji 版本额外采集触觉信号 |
| 3D 打印支架 + 绑带 | 全身固定点位 | 稳定传感器,保证标定精度 |
C³ 重建管线三步流程
- 校准:标定人体模型、传感器佩戴位置,建立传感器和人体骨骼映射关系
- 补全:依靠学习到的人体运动规律,补齐没有追踪器覆盖的躯干、四肢关节动作
- 约束:把重建结果贴合传感器真实观测值,保证动作平滑、符合人体生理极限
和传统动捕棚对比
| 项目 | 传统光学动捕棚 | EgoExplorer 可穿戴管线 |
|---|---|---|
| 场地要求 | 封闭专用棚,布设大量摄像头基站 | 不限场地,工厂、家里、实验室都能用 |
| 传感器数量 | 几十上百个标记点 | 仅 5 个追踪器 + 手套 + 头戴相机 |
| 部署时间 | 数小时搭建调试 | 几分钟穿戴完成 |
| 采集场景 | 棚内预设动作 | 真人边干活边采集真实操作动作 |
| 数据类型 | 主要全身姿态 | 第一视角视频 + 全身运动 + 手指 + 触觉多模态对齐 |
【常见问题】
问题 1:五个追踪器替掉动捕棚,上海 AI Lab 这套 EgoExplorer 管线靠什么实现全身动作重建?
回答 1:五个追踪器替掉动捕棚,上海 AI Lab 这套 EgoExplorer 管线依靠 C³ 校准 - 补全 - 约束算法,先用 5 个稀疏追踪器拿到头部、手、脚踝的姿态数据,再通过人体运动模型补齐躯干、四肢其余关节动作,最后做约束修正,不用满身体传感器也能还原完整人体动作。
问题 2:上海 AI Lab 的可穿戴具身数据采集管线,采集的数据主要用来做什么?
回答 2:上海 AI Lab 这套可穿戴具身数据采集管线采集第一视角视频、全身运动、手指姿态、触觉对齐数据,生成 EgoExplorer 数据集,用来训练人形机器人,学习人类边走、边移动、边抓握操作的联动技能,适配真实工业、家庭场景。
问题 3:只用 5 个追踪器替代动捕棚,上海 AI Lab 这套方案精度相比传统动捕差距大吗?
回答 3:只用 5 个追踪器替代动捕棚,上海 AI Lab 这套方案在对照测试里,相比主流基线方案身体点位误差降低 71.9%,虽然稀疏传感器天然有局限,但足够满足具身 AI、人形机器人演示学习的需求,优势是便携、不受场地限制。
问题 4:EgoExplorer 可穿戴管线必须搭配特定手套吗?
回答 4:EgoExplorer 可穿戴管线支持两种手套,MANUS Metagloves 只采集手指关节,Wuji 手套可以额外采集触觉信息,上海 AI Lab 设计时预留了适配,根据采集需求选择就行。
【参考资料】
[2026-11-18](5 个追踪器替掉动捕棚:上海 AI Lab 把具身数据采集做成了可穿戴管线)量子位
[2026-10-29](中国研究人员发明新型可穿戴系统 可采集人体活动数据用于机器人训练)凤凰网
[2026-10-25](Wearable system captures human motion data to train humanoid robots)HyperAI 超神经
[2026-10-19](EgoExplorer: Capturing Multimodal Human Demonstrations with MANUS Gloves)MANUS 官网
[2026-10-18](EgoExplorer: A Vision–Motion–Touch Observatory for Human Loco-Manipulation In Situ)arXiv 论文
【免责声明】
本文仅为公开科研成果资讯整理,EgoExplorer 属于实验室研究方案,不是商用成熟产品;相关精度、误差数据来自论文公开测试环境,不代表所有场景下都能达到同等效果,内容不构成机器人项目采购、落地的决策建议。
