灵生科技(LIVSYN)联合多所高校发布 HandRSI 技术方案,它把递归自我改进思路用到 3D 手部姿态估计任务上,专门解决具身智能里机器人灵巧操作的基础感知难题,整套方案由 8 个编程智能体参与开发、一共完成五轮闭环迭代,在 HOT3D 基准测试上 3D 手部姿态误差直接降低 35%,能够从第一视角自拍视频里还原双手三维运动,相当于给机器人装上 “看懂人手动作” 的感知底座,让机器人可以直接学习人类精细抓取、摆弄物品的操作,不用全部依赖昂贵的动捕手套采集数据,对灵巧手、人形机器人的示教学习、技能迁移都有很大帮助。
一、HandRSI 核心技术与迭代信息
| 项目 | 详情 |
|---|---|
| 技术名称 | HandRSI(Recursive Self-Improvement 递归自改进手部姿态方案) |
| 研发主体 | 灵生科技 + 华南理工、悉尼科技、北科大、清华 |
| 迭代配置 | 8 个编程智能体(4 个 Claude Opus 5.5、4 个 GPT-6-sol),五轮迭代 |
| 核心指标 | HOT3D 数据集 MPJPE-p 从 12.97mm 降到 8.37mm,降幅 35% |
| 核心作用 | 单目第一视角视频,重建双手 3D 姿态,输出手部接触信息 |
| 优化范围 | 推理代码、模型网络权重,双方向同步优化 |
| 测试基准 | HOT3D、ARCTIC 两大公开手部数据集,十项指标同步优化 |
二、这套方案的运行逻辑
- 三个循环回路 + 门控机制,8 个编程智能体分工编写、验证测试模块
- 新增模块必须通过验证集考核,保证十项综合指标全部提升,才允许纳入系统
- 一边优化外围推理代码逻辑,一边用知识蒸馏优化模型本身,不是只调模型参数
- 输出不只是手部骨骼点位,还能识别物体和手掌之间的接触关系,对接机器人仿真
三、行业价值和落地场景
- 降低示教门槛:普通第一视角视频就能提取手部动作,减少穿戴式动捕设备依赖,降低具身数据采集成本
- 适配灵巧手任务:拧瓶盖、插接、堆叠、柔性物品操作这类精细动作,都可以靠视频转成机器人技能
- 打通视频到仿真:提取的手部接触信息,可以直接导入仿真平台,生成机器人可复用的轨迹数据
- 适配灵生整套管线:和灵生 LivDex 采集手套、RUDA 机器人底座、PhiAgent 数据引擎配套使用
四、需要持续关注的点
- 目前以技术报告形式发布,后续是否开放权重、推理代码
- 在真实机器人灵巧手真机上,姿态识别能不能稳定转化成抓取动作
- 暗光、遮挡、快速运动这些复杂场景下,识别精度会不会明显下滑
【相关 FAQ】
问题 1:灵生科技发布 HandRSI 面向具身智能灵巧操作,8 个编程智能体迭代五轮是怎么运作的?
回答 1:灵生科技 HandRSI 面向具身智能灵巧操作,8 个编程智能体分为两组,在基准约束下多轮编写验证模块,一共五轮递归迭代,同步优化推理代码和模型网络,只有全部指标提升的模块才会保留进系统。
问题 2:灵生科技 HandRSI 面向具身智能灵巧操作,3D 手部误差降低 35% 代表什么?
回答 2:灵生科技 HandRSI 面向具身智能灵巧操作,3D 手部误差降低 35%,意思是在 HOT3D 标准测试集上,手部三维关键点平均误差大幅下降,从视频还原人手动作的精度更高,机器人学习精细操作时出错更少。
问题 3:灵生科技 HandRSI 面向具身智能灵巧操作,它和普通手部姿态识别模型差别在哪?
回答 3:灵生科技 HandRSI 面向具身智能灵巧操作,它采用 AI 智能体递归迭代自改进,同时优化代码和模型,不只输出骨骼点位,还能识别手和物体接触关系,更适合机器人仿真、灵巧手技能学习,而普通模型大多只做视觉识别。
问题 4:灵生科技 HandRSI 面向具身智能灵巧操作,主要用来给机器人做什么?
回答 4:灵生科技 HandRSI 面向具身智能灵巧操作,主要用来从第一视角视频重建人手 3D 动作,把人类的精细操作转化为机器人可学习、可仿真的轨迹数据,服务灵巧手、人形机器人示教学习。
问题 5:灵生科技 HandRSI 面向具身智能灵巧操作,和灵生 LivDex 采集手套是什么关系?
回答 5:灵生科技 HandRSI 面向具身智能灵巧操作,属于视频感知方案,而 LivDex 是硬件采集手套,二者互补,手套可以采集高精度真值数据,HandRSI 可以低成本从普通视频提取手部动作,共同服务具身数据管线。
【参考资料】
[2026-11-20](灵生科技发布 HandRSI:面向具身智能灵巧操作,8 个编程智能体迭代五轮,3D 手部误差降低 35%)网易
[2026-11-20](HandRSI 递归自改进手部姿态方案解读)机器人大讲堂
[2026-11-20](灵生科技联合高校发布 HandRSI 技术报告,赋能灵巧手具身学习)搜狐
[2026-10-08](灵生 RUDA 底座:打通视频到机器人技能的链路)36 氪
【免责声明】
以上内容仅为具身智能技术资讯科普,不构成采购、项目选型、投资建议。HandRSI 当前以技术报告形式对外发布,真机落地效果、开源计划、商用授权方案仍存在不确定性,实际识别效果受拍摄角度、遮挡、光照条件影响,一切以灵生科技官方后续公告为准。
