F2G-Pose 是入选 NeurIPS 2026 的类别级 6D 位姿估计模型,它最大的亮点就是只用一次前向推理,输入单张 RGB-D 图像,就能同时预测物体的 6D 位姿、真实度量尺寸以及补全后的完整三维形状,不用 CAD 模型、不用多轮采样、也不用后处理筛选候选结果。之前很多同类方法要么是分步推理,很容易把前面步骤的误差一路传递下去;要么用扩散模型,精度还行但是推理速度很慢,很难落地到机器人实时抓取场景。F2G-Pose 换了一套端到端单通道的思路,把基础视觉特征、点云几何编码、专家 Transformer 融合放在一起,用形状补全任务反过来约束位姿和尺寸的预测,保证输出的三维信息互相匹配,在 SOPE、ROPE 数据集上拿到了同期最优精度,纯位姿分支推理速度可以跑到 28 FPS,全模型带形状补全也能达到 24 FPS,在真实机器人抓取实验里也有不错的成功率。
一、现有方案的痛点
- 分步式方案:检测、配准、形状重建分开做,前一步出错,后面全部跟着错,误差累积明显
- 扩散类方案:需要多次采样生成候选,还要额外筛选,延迟高,不适合实时机器人控制
- 传统类别级位姿:大多只预测位姿,不输出物体真实尺寸和完整形状,缺少完整几何信息,机器人抓取规划不好用
- 类别级本身难点:同一类物体外形差异大、物体存在对称、摄像头只能拍到局部,本身就有很强歧义
二、F2G-Pose 核心流程
- 基础特征提取:使用冻结的 RADIO 骨干网络,提取稠密的基础视觉特征,这个骨干融合了 SAM、DINOv2 的能力
- 特征抬升到点云:把图像上的稠密特征映射到 RGB-D 得到的局部点云上,给每个三维点带上视觉信息
- 局部几何编码:用 DGCNN 对点云做 token 化编码,捕捉物体表面局部几何关系
- 专家 Transformer 融合:采用 Top-2 MoE 混合专家 Transformer,整合物体全局结构信息
- 多分支联合预测:一个分支回归 6D 位姿 + 度量尺寸,另一个分支做相机坐标系下的形状补全
- 联合几何监督:形状补全的稠密损失约束位姿和尺寸,保证预测出来的姿态、大小、外形互相自洽
三、关键性能指标
| 项目 | 指标 |
|---|---|
| 推理帧率(仅位姿分支) | 28 FPS |
| 推理帧率(完整模型,含形状补全) | 24 FPS |
| 测试数据集 | SOPE、ROPE、HouseCat6D、HANDAL |
| 训练数据 | 仅 SOPE 合成标注数据,RADIO 骨干冻结不训练 |
| 机器人实验 | 80 次抓取测试,74 次成功拾取、68 次成功放置 |
四、核心创新点清单
- ✅ 单前向一体化:一次前向同时输出位姿、尺寸、完整形状,抛弃迭代采样和候选筛选
- ✅ 特征抬升方案:把基础大模型的图像特征绑定到三维点,打通 2D 基础特征和 3D 几何
- ✅ MoE Transformer:用专家机制区分不同几何模式,提升类别级泛化能力
- ✅ 多任务互相约束:形状补全作为监督信号,降低位姿预测的歧义,提升度量尺寸准确性
- ✅ 合成数据训练:只用合成 SOPE 数据就能迁移到真实物体,降低标注成本
五、适用边界
- 输入前提:需要已经做好分割的 RGB-D 图像
- 短板:严重遮挡、深度噪声很大、透明反光物体,精度会明显下降
- 定位:面向机器人抓取、AR 交互这类需要实时获取物体全套几何信息的场景
【相关 FAQ】
问题 1:F2G-Pose 在 NeurIPS 2026 里,是怎么做到一次前向预测物体位姿、尺寸与完整形状的?
回答 1:F2G-Pose 依靠 RADIO 基础特征提取、特征抬升点云、DGCNN 编码、MoE Transformer 融合,再分成位姿尺寸分支和形状补全分支,两个任务联合监督,在同一个前向流程里直接输出物体位姿、尺寸与完整形状,不需要多次迭代采样。
问题 2:F2G-Pose 和扩散类位姿估计方法相比,在预测物体位姿、尺寸与完整形状上有什么差别?
回答 2:扩散类方法需要多次采样、后处理筛选候选,速度慢;F2G-Pose 是单次前向推理,直接输出物体位姿、尺寸与完整形状,推理帧率更高,更适合机器人实时控制,同时依靠形状补全约束,几何一致性更好。
问题 3:F2G-Pose 预测物体位姿、尺寸与完整形状,是否需要每个物体的 CAD 模型?
回答 3:不需要,F2G-Pose 属于类别级位姿估计,不需要实例 CAD 模型,只需要类别先验,输入单张分割后的 RGB-D 图,就可以预测物体位姿、尺寸与完整形状。
问题 4:F2G-Pose 预测物体位姿、尺寸与完整形状,训练的时候要用大量真实场景标注吗?
回答 4:不用,F2G-Pose 只使用 SOPE 合成标注数据训练任务网络,RADIO 骨干模型冻结,依靠合成数据就可以迁移到真实场景,完成物体位姿、尺寸与完整形状的预测。
【参考资料】
[2026-10-30](F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation)neuraltrendhub
[2026-10-25](F2G-Pose NeurIPS 2026)MyArxiv
[2026-10-22](F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation)arXiv
【免责声明】
本文内容为 F2G-Pose 论文的技术解读整理,信息来自 arXiv 公开论文、技术博客,仅做技术学习交流,不代表 NeurIPS 官方最终评审文本,模型实际效果受硬件、输入质量、场景遮挡影响,不构成工程落地承诺。
