熊友军的核心观点是,人形机器人训练不能只单押真机、仿真、互联网视频其中某一类数据,三类数据各有长短,要搭配起来组合使用,根据不同训练目标灵活分配数据占比。互联网视频数据量大、获取成本低,适合用来先让模型学习通用的动作范式;仿真数据可控、标注方便、没有安全风险,适合做大量试玩、迭代基础控制策略;真机数据最贴近真实物理世界,用来修正仿真和视频带来的偏差,保证机器人落地可用。如果只用其中一类,很容易出现问题,纯互联网视频会存在虚实不匹配、动作没法直接迁移到机器人本体;纯仿真容易出现仿真和现实之间的鸿沟;纯真机采集成本高、耗时长,还存在碰撞损坏风险。合理的做法一般是先用互联网视频数据做预训练打底,再用仿真数据大批量扩充样本、打磨动作策略,最后用真机真实数据做闭环微调,持续缩小虚实差距,最终得到能够稳定在现实环境运行的人形机器人模型。
一、三类人形机器人数据各自优缺点清单
- 互联网视频数据
- 仿真数据
- 真机数据
优点:素材海量、获取速度快,包含大量人类日常动作,适合学习通用行为模式
缺点:视角杂乱、没有机器人本体参数信息,动作很难直接迁移,存在大量无效样本
优点:低成本、可无限采样,场景和参数可以自定义,不怕机器人磕碰损坏,标注简单
缺点:仿真环境物理引擎和真实世界有差异,容易出现仿真效果好、真机上失效的情况
优点:完全贴合真实物理约束,噪声、摩擦、形变都是真实的,是打通落地的关键
缺点:采集慢、设备损耗大、成本高,危险动作没法直接真机采集,样本规模很难做大
二、人形机器人三类数据的搭配使用步骤
- 预训练阶段:优先使用互联网视频数据,让模型学习人类基础动作、行为逻辑,搭建动作先验
- 大规模迭代阶段:依靠仿真数据批量生成样本,开展策略训练,快速试错优化动作方案
- 对齐微调阶段:接入真机采集数据做闭环优化,校正仿真偏差,解决虚实迁移问题
- 持续迭代阶段:三类数据持续补充,根据任务效果动态调整三类数据配比
三、三类数据选型对比表
| 数据类型 | 适合场景 | 不适合场景 | 核心价值 |
|---|---|---|---|
| 互联网视频数据 | 通用动作预训练、学习人类行为 | 机器人精准控制、高精度操作任务 | 低成本提供海量行为先验 |
| 仿真数据 | 动作探索、危险场景测试、大批量训练 | 最终落地验证 | 低成本快速迭代策略 |
| 真机数据 | 模型微调、真实场景验证、消除仿真偏差 | 大规模初期探索训练 | 保证机器人真实环境可用 |
【常见问题】
问题 1:熊友军提到的人形机器人真机、仿真、互联网视频三类数据,哪一类最重要?
回答 1:熊友军提到的人形机器人真机、仿真、互联网视频三类数据没有绝对最重要的一类,需要配合使用,真机数据是落地的核心,仿真负责扩量,互联网视频用来做预训练。
问题 2:人形机器人训练只用互联网视频数据行不行?
回答 2:人形机器人训练只使用互联网视频数据不行,互联网视频缺少机器人本体物理信息,学到的动作很难直接迁移真机,必须搭配仿真和真机数据一起训练。
问题 3:人形机器人仿真数据能不能替代真机数据?
回答 3:人形机器人仿真数据没办法完全替代真机数据,仿真存在物理偏差,仿真训练出来的模型,依然需要真机数据微调,才能在现实环境稳定运行。
【数据来源】
[2026-11-06](面对面|熊友军:真机、仿真、互联网视频三类数据,人形机器人该怎么选?)科技媒体
[2026-10-22](人形机器人多源数据训练行业观点汇总)机器人行业资讯
[2026-10-08](人形机器人虚实结合训练方案研究)产业媒体
【免责声明】
本内容仅为嘉宾观点整理,不构成技术落地指导或投资建议;人形机器人真机、仿真、互联网视频三类数据的组合方案会随着算法、硬件迭代持续变化,技术落地效果受硬件平台、算法框架影响,相关方案请以企业官方公开技术资料为准。
