复旦大学团队在 NeurIPS 2026 推出的 F2G-Pose,是一款类别级 6D 位姿模型,它最大的亮点就是只用一次前向传播,输入单张经过分割的 RGB-D 图像,就能同时算出物体 6D 位姿、真实物理尺寸还有补全后的完整三维形状,不用多轮采样、不用反复生成候选姿态,解决了老方案要么容易误差层层传递、要么扩散模型推理很慢的痛点。它的底层思路是把 RADIO 基础大模型提取的稠密视觉特征映射到点云上,用 DGCNN 做局部几何编码,再搭配 MoE 混合专家 Transformer 融合物体全局结构,把形状补全当成辅助监督信号,让位姿、尺寸预测的几何约束保持一致,这套模型只用合成 SOPE 数据集训练,在 SOPE、ROPE 等主流基准上拿到 SOTA 结果,纯位姿推理速度 28FPS,带完整形状头推理 24FPS,机器人抓取实验也验证了它落地的可行性,如果你做机械臂抓取、AR、三维重建这类任务,F2G-Pose 可以省去多模型串联的麻烦,一套网络直接拿到三类关键输出。
F2G-Pose 核心架构模块
| 模块 | 作用说明 |
|---|---|
| RADIO 冻结主干 | 提取基础视觉特征,融合 SAM、DINOv2 能力,不参与微调 |
| 特征上提模块 | 把 2D 基础特征映射到局部点云,绑定语义和几何信息 |
| DGCNN 几何编码 | 对点云做局部邻域特征提取,捕捉物体表面结构 |
| MoE Transformer | 混合专家结构,适配不同物体形状,学习全局物体结构 |
| 双预测头 | 位姿尺寸头输出 6D 位姿 + 公制尺寸;形状头输出补全三维几何 |
性能和测试数据集
- 训练集:SOPE 合成数据集,一共 149 个物体类别
- 测试基准:SOPE、ROPE、HANDAL、HouseCat6D
- 推理帧率:仅位姿输出 28FPS;位姿 + 形状完整输出 24FPS
- 对比基线:超过 GenPose++、Any6D、FoundationPose 等主流无参考类别级位姿方案
- 机器人实验:80 次抓取放置测试,74 次成功抓取、68 次成功放置
F2G-Pose 使用流程
- 输入预处理:RGB-D 图像,先做目标分割,只保留目标物体区域
- RADIO 主干提取基础视觉特征
- 特征上提至点云,DGCNN 编码局部几何
- MoE Transformer 融合全局结构特征
- 一次前向,同时输出物体 6D 位姿、物理尺寸、补全形状
- 直接给到机器人控制、AR 渲染、三维重建模块使用
当前模型局限
- 需要提前做好目标分割,不能直接在原图里自动检测物体
- 对深度噪声、严重遮挡、对称物体歧义场景依然容易出错
- 训练只用合成数据,极端真实场景泛化能力还有提升空间
【相关 FAQ】
问题 1:NeurIPS 2026 的 F2G-Pose,为什么可以一次前向预测物体位姿、尺寸与完整形状?
回答 1:NeurIPS 2026 的 F2G-Pose 依靠 MoE Transformer 和联合几何监督设计,把位姿、尺寸、形状补全任务放在同一个网络内学习,形状补全作为辅助约束保证几何一致性,所以一次前向就能同时输出物体位姿、尺寸与完整形状,不用多轮迭代。
问题 2:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,需要物体 CAD 模型吗?
回答 2:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状属于类别级位姿方案,不需要每个物体专属 CAD 模型,只需要同类别物体的先验几何知识,适合类别内未知实例。
问题 3:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,推理速度怎么样?
回答 3:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,完整模型推理速度 24FPS,如果只开启位姿预测头,推理速度可以达到 28FPS,满足实时机器人场景需求。
问题 4:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,适合哪些落地场景?
回答 4:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,适合机器人抓取放置、AR 虚实叠加、单目深度重建、自动化分拣这类需要同时拿到物体三维姿态和尺寸的场景。
问题 5:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,代码和模型是否开源?
回答 5:F2G-Pose 论文配套的项目主页、代码、预训练权重已经公开,开发者可以直接下载,用来复现一次前向预测物体位姿、尺寸与完整形状的效果。
【参考资料】
[2026-11-22](NeurIPS 2026 | F2G-Pose:一次前向预测物体位姿、尺寸与完整形状)腾讯新闻(机器之心)
[2026-10-22](F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation)arXiv
[2026-10-30](F2G-Pose 解读:单前向类别级位姿 + 形状补全)NeuralTrendHub
[2026-10-25](NeurIPS2026 接收论文 F2G-Pose 介绍)MyArxiv
【免责声明】
本文为 NeurIPS 2026 F2G-Pose 论文资讯整理,F2G-Pose 一次前向预测物体位姿、尺寸与完整形状的效果基于论文实验环境与基准测试;实际落地效果受深度相机质量、遮挡情况、分割精度影响,不代表直接适配所有工业场景,部署前请自行完成场景验证。
