星尘智能推出的 CoMind(Be My Eye)多机器人协同框架,实现机器人之间隔墙 “递眼色” 式协作,在两台机器人互相看不见的隔墙拿笔实验里,任务成功率直接从 0 提升到 100%,解决了多机器人组队干活时视线遮挡、通信冗余、配合错乱的痛点。传统多机器人协作一般有两种方案,一种是中心服务器统一调度,延迟高,精细动作容易配合错位;另一种是直接传输完整摄像头画面,原始图像数据量大,占用带宽高,无效信息多,机器人很难快速抓住队友的意图。这套 CoMind 框架不走传原图的路线,而是只提取和当前任务强相关的关键上下文,做轻量化编码之后再发给队友,机器人收到信息之后,结合自己本地视觉、本体状态做独立决策,属于去中心化协作。除了隔墙拿笔这个极限场景,在无视野置物测试里,成功率也从 38.9% 提升到 88.9%,整体通信传输量直接下降 80%,数据变少但协作准确度反而更高。整套框架已经在纸箱组装、叠被收纳、冰箱补货、哑铃组装、盲盒置物等多个真机场景验证,后续还会继续升级,从共享视野往共享意图方向迭代,适合仓储、家庭服务、工业装配这类机器人经常互相遮挡视野的场景。
CoMind 框架核心信息
- 框架名称:CoMind(别名 Be My Eye)
- 研发主体:星尘智能
- 核心思路:任务导向上下文压缩 + 去中心化双向协同
- 核心亮点:不传输原始图像,只传递任务关键信息,实现隔墙 “共享视野”
- 标志性实验:隔墙跟随拿笔
- 隔墙拿笔实验结果:基线成功率 0%,启用 CoMind 后 100%
- 无视野置物实验结果:基线 38.9%,启用 CoMind 后 88.9%
- 通信优化:信息传输量降低 80%
- 已验证场景:纸箱组装、叠被收纳、冰箱补货、哑铃组装、盲盒置物、隔墙拿笔
CoMind 工作流程拆解
- 机器人本地视觉感知环境,识别当前任务进度、目标物体、障碍物
- 编码器筛选、压缩上下文,只保留影响后续动作的关键信息,剔除无关画面细节
- 通过通信链路把精简后的特征信息发给协作机器人,不传输整张原图
- 接收方机器人融合本地视觉、自身状态、队友发来的上下文,输入 VLA 策略模型生成动作
- 执行动作之后,用任务结果反向优化编码器,持续提升信息筛选准确度
- 多机分布式自主决策,不需要中央主控统一下发每一步动作指令
新旧协作方案对比
| 方案类型 | 协作方式 | 优点 | 短板 |
|---|---|---|---|
| 中心调度方案 | 后台统一计算,下发动作指令 | 全局可控 | 延迟高,精细动作容易不同步,单点故障影响全队 |
| 原图直传方案 | 互相发送完整摄像头画面 | 信息完整 | 数据量大、带宽压力高,冗余信息多,推理慢 |
| CoMind 轻量化上下文方案 | 只传输任务关键语义特征 | 数据量小、响应快、隔墙可协作 | 依赖训练好的上下文编码器,对任务场景有适配要求 |
真机测试场景清单
✅ 隔墙拿笔:挡板隔开,机器人互相看不到对方,依靠共享信息配合完成取放,标志性测试
✅ 无视野置物:机器人视线被遮挡,依靠队友视野信息寻找目标盒子放置物品
✅ 纸箱组装:两台机器人配合对齐、折叠纸箱
✅ 叠被收纳:协同拉扯、整理柔性织物
✅ 冰箱补货:分工识别空位、摆放物品
✅ 哑铃组装:配合抓取配件、对位装配
技术优势和局限
✅ 优势
- 隔墙、遮挡场景下依然可以稳定协作,实现类似 “递眼色” 的意图同步
- 通信数据量大幅压缩,带宽占用低,对无线网络要求更低
- 去中心化架构,单台机器人故障不会直接让整个协作任务崩盘
- 适配柔性物体操作、装配这类对时序配合要求高的任务
- 可以兼容不同具身机器人,不需要硬件深度定制
❌ 局限
- 目前是面向指定任务训练,跨陌生新场景泛化能力还有提升空间
- 效果高度依赖任务上下文编码器,需要对应场景数据做调优
- 不是完全无通信,依然需要无线链路传递压缩后的特征信息
- 复杂多机集群(4 台以上)的稳定性还需要更多真机验证
【常见问题】
问题 1:机器人隔墙递眼色协同框架 CoMind,隔墙拿笔测试成功率从 0 飙到 100% 是什么原理?
回答 1:机器人隔墙递眼色协同框架 CoMind,不会直接传输摄像头原图,而是提取任务关键上下文信息压缩后共享,机器人融合本地感知和队友的关键信息自主决策,所以隔墙互相看不见的情况下,拿笔任务成功率从 0 提升到 100%。
问题 2:机器人隔墙递眼色协同框架 CoMind,和直接传摄像头画面相比有什么好处?
回答 2:机器人隔墙递眼色协同框架 CoMind,只传递精简语义信息,信息传输量下降 80%,减少带宽压力,机器人不用处理大量无效画面,决策速度更快,遮挡场景协作稳定性更强。
问题 3:机器人隔墙递眼色协同框架 CoMind,除了隔墙拿笔还能做哪些机器人组队任务?
回答 3:机器人隔墙递眼色协同框架 CoMind,已经在纸箱组装、叠被收纳、冰箱补货、哑铃组装、盲盒置物等场景完成真机验证,适合服务机器人、装配机器人的协同作业。
问题 4:机器人隔墙递眼色协同框架 CoMind,是需要中心服务器统一控制机器人吗?
回答 4:机器人隔墙递眼色协同框架 CoMind 采用去中心化方案,机器人收到队友的上下文信息之后自主生成动作,不需要中心服务器一步步下发指令,降低单点故障风险。
【参考资料】
[2026-11-13](中国机器人学会隔墙 “递眼色”!成功率从 0 飙到 100%,组队干活不烧心)电子工程专辑
[2026-11-13](星尘智能发布多机协同新范式 CoMind,赋予机器人共享视野能力)网易智能
[2026-11-13](CoMind(Be My Eye)多机器人协同框架发布,隔墙协同实测)量子位 ROBO
[2026-11-13](星尘智能 CoMind 技术解读:任务导向上下文压缩实现多机共享视野)机器之心
【免责声明】
本文内容整理自星尘智能 CoMind 框架公开测试信息,隔墙协作成功率、通信压缩比例来自厂商真机实验数据,实际效果受机器人硬件、无线网络环境、任务场景影响,内容仅作为技术科普参考,不构成机器人采购、项目落地建议,详细技术指标请参考官方技术文档。
