您的位置首页 >科技要闻 >

地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

标题:地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

11 月 18 日,地平线机器人实验室正式发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。这款模型只需要输入普通 RGB 视频,就能联合预测相机位姿、相机内参和逐帧深度,把场景的三维结构还原出来。根据官方公布的评测结果,LoFT 在 SpatialBench、ClassicBench、VRBench 三套评测体系中,和 VGGT-Ω、DA3-Giant 等代表性模型同台对比,多项深度估计指标达到业界最优水平(SoTA),在经典重建和连续视频重建方向也拿到了 SoTA 效果。整体来看,LoFT 定位很明确:为机器人空间感知、环境理解和具身学习打好几何基础,同时覆盖自动驾驶、室内操作、开放环境探索等视觉重建场景。

一、LoFT 是怎么把视频变成三维结构的

LoFT 原生面向连续视频建模,核心思路是把 "跨帧视觉信息聚合" 和 "相机状态迭代优化" 绑在一起做,专门用来挖视频里的时序关联和多视角几何信息。它采用双循环 Transformer 架构,两个循环分工如下:

模块主要任务工作方式
第一循环(LB1)通用几何特征提取通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧连续性和跨视角几何关联
第二循环(LB2)Coarse2Fine 几何与姿态估计显式更新相机位姿与内参,并把相机状态反馈到下一轮特征计算
深度预测逐帧深度与置信度结合双循环特征,预测逐帧深度及其置信度,恢复场景可见三维结构

简单说,第一遍循环先把相邻帧、跨视角的视觉特征串起来;第二遍循环边更新相机姿态和内参,边把最新相机状态回喂给特征计算,逐步把几何和姿态估得更精细,最后输出带置信度的逐帧深度图。

二、训练数据与平台底座

要支撑这类几何基础模型规模化训练,团队搭了一套统一的三维重建数据处理与训练平台,数据规模和覆盖范围如下:

  • 有效训练序列:约 297 万条
  • 图像记录:约 9.62 亿帧
  • 场景覆盖:仿真与真实、动态与静态等多样化场景
  • 数据策略:统一的数据清洗、质量筛选和采样流程,为模型训练提供数据基础

三、评测结果:三套基准对照代表性模型

研究团队在三套评测体系上把 LoFT 与 VGGT-Ω、DA3-Giant 等模型做了比较,评测覆盖范围和结论如下:

评测体系覆盖范围LoFT 表现
SpatialBench(通用 3D 空间重建)12 个数据集、98 个连续视频场景多项指标达到 SoTA
ClassicBench(经典重建)整合 7 个经典视频重建基准达到 SoTA 效果
VRBench(连续视频重建)涵盖机器人、自动驾驶及通用视频场景达到 SoTA 效果

从官方展示的重建样例看,LoFT 应对的场景包括:高频动态场景下的精准空间感知、文字级精细几何重建、驾驶场景中动态车辆的鲁棒视觉重建,以及复杂生活场景的高精度重建。

四、落地应用方向

在应用侧,LoFT 利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,主要覆盖以下场景:

  • 机器人第一人称视频的空间感知与环境理解
  • 动态街道等驾驶场景的视觉重建
  • 室内操作场景的高精度几何重建
  • 开放环境探索中的三维结构恢复

整体上,LoFT 补齐的是物理 AI 里的几何感知一环:先把 "空间长什么样、相机怎么动" 算清楚,上层的导航、操作和具身策略才有可靠的几何依据。

【常见问题】

问题 1:LoFT 是什么?它作为原生视频几何基础模型主要解决什么问题?

回答 1:LoFT(Looped Foundation Transformer for Video Geometry)是地平线机器人实验室发布的原生视频几何基础模型,解决的是从普通 RGB 视频中恢复场景三维结构的问题。它能联合预测相机位姿、内参和逐帧深度,为机器人空间感知、环境理解与具身学习提供几何基础。

问题 2:LoFT 在哪些评测上达到了 SoTA?

回答 2:LoFT 在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中与 VGGT-Ω、DA3-Giant 等代表性模型对比,多项深度估计指标达到 SoTA;在 ClassicBench 经典重建和 VRBench 连续视频重建中也达到 SoTA 效果。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景。

问题 3:LoFT 的双循环 Transformer 架构是怎么工作的?

回答 3:LoFT 双循环架构里,第一循环(LB1)做通用几何特征提取,用局部与全局时序注意力聚合跨帧信息;第二循环(LB2)做 Coarse2Fine 几何与姿态估计,显式更新相机位姿和内参,并把相机状态反馈到下一轮特征计算,最后结合双循环特征输出逐帧深度及置信度。

问题 4:LoFT 的训练数据规模有多大?

回答 4:为支撑 LoFT 这个原生视频几何基础模型规模化训练,团队搭建了统一的三维重建数据处理与训练平台,使用约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景。

问题 5:LoFT 可以用在哪些实际场景?

回答 5:LoFT 可用于机器人第一人称视频、动态街道、室内操作和开放环境探索等场景,恢复场景三维结构与相机运动轨迹,服务于机器人感知、自动驾驶以及室内环境重建等具身智能方向。

【参考资料】

  • [2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews
  • [2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)ZAKER 新闻
  • [2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家(今日头条)
  • [2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻(腾讯新闻)
  • [2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻(新浪)
  • [2026-11-18](地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征)地平线官网

【免责声明】

本文内容基于公开媒体报道及官方公布信息整理,所涉及模型能力、评测指标与应用场景均以地平线官方后续发布为准;文中评测对比、数据规模等描述不构成任何投资、采购或技术选型建议,转载或引用请注明信息来源,如有出入以官方原始资料为准。

今日大家都在搜的词: