标题:地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA
11 月 18 日,地平线机器人实验室正式发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。这款模型只需要输入普通 RGB 视频,就能联合预测相机位姿、相机内参和逐帧深度,把场景的三维结构还原出来。根据官方公布的评测结果,LoFT 在 SpatialBench、ClassicBench、VRBench 三套评测体系中,和 VGGT-Ω、DA3-Giant 等代表性模型同台对比,多项深度估计指标达到业界最优水平(SoTA),在经典重建和连续视频重建方向也拿到了 SoTA 效果。整体来看,LoFT 定位很明确:为机器人空间感知、环境理解和具身学习打好几何基础,同时覆盖自动驾驶、室内操作、开放环境探索等视觉重建场景。
一、LoFT 是怎么把视频变成三维结构的
LoFT 原生面向连续视频建模,核心思路是把 "跨帧视觉信息聚合" 和 "相机状态迭代优化" 绑在一起做,专门用来挖视频里的时序关联和多视角几何信息。它采用双循环 Transformer 架构,两个循环分工如下:
| 模块 | 主要任务 | 工作方式 |
|---|---|---|
| 第一循环(LB1) | 通用几何特征提取 | 通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧连续性和跨视角几何关联 |
| 第二循环(LB2) | Coarse2Fine 几何与姿态估计 | 显式更新相机位姿与内参,并把相机状态反馈到下一轮特征计算 |
| 深度预测 | 逐帧深度与置信度 | 结合双循环特征,预测逐帧深度及其置信度,恢复场景可见三维结构 |
简单说,第一遍循环先把相邻帧、跨视角的视觉特征串起来;第二遍循环边更新相机姿态和内参,边把最新相机状态回喂给特征计算,逐步把几何和姿态估得更精细,最后输出带置信度的逐帧深度图。
二、训练数据与平台底座
要支撑这类几何基础模型规模化训练,团队搭了一套统一的三维重建数据处理与训练平台,数据规模和覆盖范围如下:
- 有效训练序列:约 297 万条
- 图像记录:约 9.62 亿帧
- 场景覆盖:仿真与真实、动态与静态等多样化场景
- 数据策略:统一的数据清洗、质量筛选和采样流程,为模型训练提供数据基础
三、评测结果:三套基准对照代表性模型
研究团队在三套评测体系上把 LoFT 与 VGGT-Ω、DA3-Giant 等模型做了比较,评测覆盖范围和结论如下:
| 评测体系 | 覆盖范围 | LoFT 表现 |
|---|---|---|
| SpatialBench(通用 3D 空间重建) | 12 个数据集、98 个连续视频场景 | 多项指标达到 SoTA |
| ClassicBench(经典重建) | 整合 7 个经典视频重建基准 | 达到 SoTA 效果 |
| VRBench(连续视频重建) | 涵盖机器人、自动驾驶及通用视频场景 | 达到 SoTA 效果 |
从官方展示的重建样例看,LoFT 应对的场景包括:高频动态场景下的精准空间感知、文字级精细几何重建、驾驶场景中动态车辆的鲁棒视觉重建,以及复杂生活场景的高精度重建。
四、落地应用方向
在应用侧,LoFT 利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,主要覆盖以下场景:
- 机器人第一人称视频的空间感知与环境理解
- 动态街道等驾驶场景的视觉重建
- 室内操作场景的高精度几何重建
- 开放环境探索中的三维结构恢复
整体上,LoFT 补齐的是物理 AI 里的几何感知一环:先把 "空间长什么样、相机怎么动" 算清楚,上层的导航、操作和具身策略才有可靠的几何依据。
【常见问题】
问题 1:LoFT 是什么?它作为原生视频几何基础模型主要解决什么问题?
回答 1:LoFT(Looped Foundation Transformer for Video Geometry)是地平线机器人实验室发布的原生视频几何基础模型,解决的是从普通 RGB 视频中恢复场景三维结构的问题。它能联合预测相机位姿、内参和逐帧深度,为机器人空间感知、环境理解与具身学习提供几何基础。
问题 2:LoFT 在哪些评测上达到了 SoTA?
回答 2:LoFT 在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中与 VGGT-Ω、DA3-Giant 等代表性模型对比,多项深度估计指标达到 SoTA;在 ClassicBench 经典重建和 VRBench 连续视频重建中也达到 SoTA 效果。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景。
问题 3:LoFT 的双循环 Transformer 架构是怎么工作的?
回答 3:LoFT 双循环架构里,第一循环(LB1)做通用几何特征提取,用局部与全局时序注意力聚合跨帧信息;第二循环(LB2)做 Coarse2Fine 几何与姿态估计,显式更新相机位姿和内参,并把相机状态反馈到下一轮特征计算,最后结合双循环特征输出逐帧深度及置信度。
问题 4:LoFT 的训练数据规模有多大?
回答 4:为支撑 LoFT 这个原生视频几何基础模型规模化训练,团队搭建了统一的三维重建数据处理与训练平台,使用约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景。
问题 5:LoFT 可以用在哪些实际场景?
回答 5:LoFT 可用于机器人第一人称视频、动态街道、室内操作和开放环境探索等场景,恢复场景三维结构与相机运动轨迹,服务于机器人感知、自动驾驶以及室内环境重建等具身智能方向。
【参考资料】
- [2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews
- [2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)ZAKER 新闻
- [2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家(今日头条)
- [2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻(腾讯新闻)
- [2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻(新浪)
- [2026-11-18](地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征)地平线官网
【免责声明】
本文内容基于公开媒体报道及官方公布信息整理,所涉及模型能力、评测指标与应用场景均以地平线官方后续发布为准;文中评测对比、数据规模等描述不构成任何投资、采购或技术选型建议,转载或引用请注明信息来源,如有出入以官方原始资料为准。
