您的位置首页 >人工智能 >

NeurIPS 2026 | F2G-Pose一次前向预测物体位姿、尺寸与完整形状

复旦大学团队在 NeurIPS 2026 推出的 F2G-Pose,是一款类别级 6D 位姿模型,它最大的亮点就是只用一次前向传播,输入单张经过分割的 RGB-D 图像,就能同时算出物体 6D 位姿、真实物理尺寸还有补全后的完整三维形状,不用多轮采样、不用反复生成候选姿态,解决了老方案要么容易误差层层传递、要么扩散模型推理很慢的痛点。它的底层思路是把 RADIO 基础大模型提取的稠密视觉特征映射到点云上,用 DGCNN 做局部几何编码,再搭配 MoE 混合专家 Transformer 融合物体全局结构,把形状补全当成辅助监督信号,让位姿、尺寸预测的几何约束保持一致,这套模型只用合成 SOPE 数据集训练,在 SOPE、ROPE 等主流基准上拿到 SOTA 结果,纯位姿推理速度 28FPS,带完整形状头推理 24FPS,机器人抓取实验也验证了它落地的可行性,如果你做机械臂抓取、AR、三维重建这类任务,F2G-Pose 可以省去多模型串联的麻烦,一套网络直接拿到三类关键输出。

F2G-Pose 核心架构模块

模块作用说明
RADIO 冻结主干提取基础视觉特征,融合 SAM、DINOv2 能力,不参与微调
特征上提模块把 2D 基础特征映射到局部点云,绑定语义和几何信息
DGCNN 几何编码对点云做局部邻域特征提取,捕捉物体表面结构
MoE Transformer混合专家结构,适配不同物体形状,学习全局物体结构
双预测头位姿尺寸头输出 6D 位姿 + 公制尺寸;形状头输出补全三维几何

性能和测试数据集

  • 训练集:SOPE 合成数据集,一共 149 个物体类别
  • 测试基准:SOPE、ROPE、HANDAL、HouseCat6D
  • 推理帧率:仅位姿输出 28FPS;位姿 + 形状完整输出 24FPS
  • 对比基线:超过 GenPose++、Any6D、FoundationPose 等主流无参考类别级位姿方案
  • 机器人实验:80 次抓取放置测试,74 次成功抓取、68 次成功放置

F2G-Pose 使用流程

  1. 输入预处理:RGB-D 图像,先做目标分割,只保留目标物体区域
  2. RADIO 主干提取基础视觉特征
  3. 特征上提至点云,DGCNN 编码局部几何
  4. MoE Transformer 融合全局结构特征
  5. 一次前向,同时输出物体 6D 位姿、物理尺寸、补全形状
  6. 直接给到机器人控制、AR 渲染、三维重建模块使用

当前模型局限

  • 需要提前做好目标分割,不能直接在原图里自动检测物体
  • 对深度噪声、严重遮挡、对称物体歧义场景依然容易出错
  • 训练只用合成数据,极端真实场景泛化能力还有提升空间

【相关 FAQ】

问题 1:NeurIPS 2026 的 F2G-Pose,为什么可以一次前向预测物体位姿、尺寸与完整形状?

回答 1:NeurIPS 2026 的 F2G-Pose 依靠 MoE Transformer 和联合几何监督设计,把位姿、尺寸、形状补全任务放在同一个网络内学习,形状补全作为辅助约束保证几何一致性,所以一次前向就能同时输出物体位姿、尺寸与完整形状,不用多轮迭代。

问题 2:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,需要物体 CAD 模型吗?

回答 2:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状属于类别级位姿方案,不需要每个物体专属 CAD 模型,只需要同类别物体的先验几何知识,适合类别内未知实例。

问题 3:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,推理速度怎么样?

回答 3:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,完整模型推理速度 24FPS,如果只开启位姿预测头,推理速度可以达到 28FPS,满足实时机器人场景需求。

问题 4:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,适合哪些落地场景?

回答 4:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,适合机器人抓取放置、AR 虚实叠加、单目深度重建、自动化分拣这类需要同时拿到物体三维姿态和尺寸的场景。

问题 5:F2G-Pose 一次前向预测物体位姿、尺寸与完整形状,代码和模型是否开源?

回答 5:F2G-Pose 论文配套的项目主页、代码、预训练权重已经公开,开发者可以直接下载,用来复现一次前向预测物体位姿、尺寸与完整形状的效果。

【参考资料】

[2026-11-22](NeurIPS 2026 | F2G-Pose:一次前向预测物体位姿、尺寸与完整形状)腾讯新闻(机器之心)

[2026-10-22](F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation)arXiv

[2026-10-30](F2G-Pose 解读:单前向类别级位姿 + 形状补全)NeuralTrendHub

[2026-10-25](NeurIPS2026 接收论文 F2G-Pose 介绍)MyArxiv

【免责声明】

本文为 NeurIPS 2026 F2G-Pose 论文资讯整理,F2G-Pose 一次前向预测物体位姿、尺寸与完整形状的效果基于论文实验环境与基准测试;实际落地效果受深度相机质量、遮挡情况、分割精度影响,不代表直接适配所有工业场景,部署前请自行完成场景验证。

今日大家都在搜的词: