NeurIPS 2026 收录的 GenSfM 是一套全新的生成式运动恢复框架,它最大的亮点就是只用 4 张无标定照片,不需要提前知道相机内参、不用额外的姿态估计模型,就能同时算出拍摄机位和物体完整三维模型,还能把照片里看不到的背面、侧面区域用 3D 扩散模型补全,解决了传统 SfM 算法视角太少就重建失败、看不到的区域直接空白的老问题。传统的 SfM 方案要么只能还原照片看得见的几何,盲区没法补;普通 3D 生成模型做出来的物体看着合理,但和实拍图片对不上;分开 “重建 + 生成” 的方案还会出现误差层层叠加,GenSfM 把 3D 扩散和 SfM 融合成一个端到端模型,形状和相机姿态一起去噪,兼顾实拍一致性和盲区补全能力。
GenSfM 核心指标
| 测试条件 | 效果数据 |
|---|---|
| 输入图片 | 4 张无标定图片,未知相机参数 |
| 相机姿态准确率 | Acc@5° 达到 96% 以上 |
| 新视角 PSNR | 相比基线提升 3.2–4.5 dB |
| 倒角距离(Chamfer) | 中位数降低 2.8–3.8 倍 |
| 测试数据集 | Toys4k、GSO |
技术原理
- 原生 3D 扩散模型作为基础,用多模态扩散 Transformer,同时对物体形状隐变量、每张图片的相机姿态隐变量做联合去噪,不是分开算姿态再重建。
- 采用 UV-volume 的轻量化 3D token 化方案,图片数量增加之后,计算序列不会急剧膨胀,推理速度可控。
- 姿态感知的精修阶段:基于已经解出来的相机位姿,对体素采样图像特征,同步优化几何结构和表面纹理。
- 依靠模型学到的物体先验知识,合理脑补图片没有拍到的区域,保证整体 3D 物体是完整的。
和传统 SfM 的差异
- 传统 SfM:依赖大量图片、需要足够多特征匹配,相机参数未知时很容易崩,盲区无法生成,只能重建可见部分。
- GenSfM:少视图友好,4 张图就能跑,自动求解相机参数,AI 补全看不见的区域,生成完整 3D 物体。
落地应用方向
- 移动端 3D 扫描:手机随手拍几张照片,直接生成 3D 模型,不用专业标定设备。
- AR/VR 资产快速建模:商品、手办、小件物体快速建模。
- 机器人视觉:少量观测视角下理解物体完整结构。
- 数字内容生产:快速生成可渲染的 3D 素材。
总结
GenSfM 在 NeurIPS 2026 上提出了少视图 3D 重建的新思路,4 张图、无相机参数就能重建完整物体,核心突破是把相机姿态估计和 3D 生成融合在同一个原生 3D 扩散流程里,解决了少视角下姿态解算难、盲区缺失的痛点;现阶段主要针对独立物体,还不是大场景重建,后续还会在更多真实场景做优化。
【常见问题】
问题 1:GenSfM 在 NeurIPS 2026 提出,只用四张图重建 3D 物体,是不是完全不用相机参数?
回答 1:是的,GenSfM 输入四张图片时不需要提前提供相机内参、焦距等相机参数,模型可以自动联合求解相机姿态和物体三维结构,不需要外部姿态估计工具。
问题 2:GenSfM 四张图片重建 3D 物体,和传统 SfM 相比,最大优势是什么?
回答 2:传统 SfM 很难在只有四张图的条件下稳定重建,而且看不到的区域是空的;GenSfM 依靠原生 3D 扩散的先验,四张图就能算出机位,还能合理补全看不见的区域,输出完整 3D 物体。
问题 3:GenSfM 四张图片重建 3D 物体,是不是随便四张照片都能出好效果?
回答 3:不是,四张图片需要覆盖物体不同角度,如果照片视角几乎一样、重叠太高,GenSfM 也很难准确重建,测试是在 Toys4k、GSO 规范物体数据集上验证的。
问题 4:GenSfM 四张图片重建 3D 物体,补出来的盲区部分是真实的吗?
回答 4:盲区是模型基于学习到的物体先验生成的合理猜测,不是真实扫描结果,看得见的区域会贴合原图,背面不可见区域属于 AI 生成,和真实物体可能存在偏差。
【参考资料】
[2026-10-26](Generative Structure from Motion with Native 3D Diffusion)arXiv
[2026-10-27](NeurIPS 2026 GenSfM:4 张图无标定重建完整 3D 物体)机器之心
[2026-10-28](GenSfM 项目主页:少视图生成式 SfM)dotb1ue.github.io
[2026-10-29](GenSfM:原生 3D 扩散融合运动恢复,顶会 NeurIPS 2026 接收)AI 科技评论
【免责声明】
本文仅为 NeurIPS 2026 GenSfM 技术科普,GenSfM 四张图片重建 3D 物体的效果基于论文公开数据集测试,真实复杂场景、非刚性物体、极端视角下效果会下降;该技术属于学术研究成果,暂未大规模商用,不代表可直接用于工业高精度逆向扫描,相关技术细节以论文原文、项目主页为准。
