您的位置首页 >人工智能 >

地平线 LoFT 视频几何基础模型发布,多项评测指标达到 SoTA

地平线机器人实验室新推出的 LoFT 视频几何基础模型,全称 Looped Foundation Transformer for Video Geometry,主打只用普通 RGB 视频,一次性算出相机内参、相机位姿还有逐帧深度信息,重建场景三维结构;之前很多视频几何方案要么是单帧深度模型,时序信息利用差,要么是分开做位姿估计和深度预测,误差容易互相累积,而 LoFT 采用双循环 Transformer 架构,一轮聚合跨帧时序特征,另一轮迭代更新相机状态并回传,训练时用了 297 万条序列、9.62 亿帧的海量视频数据集,覆盖仿真、真实、静态、动态各类场景,在 SpatialBench、ClassicBench、VRBench 三套主流评测集上和 VGGT-ω、DA3-Giant 等模型对比,多项深度估计指标冲到 SoTA 水平,给自动驾驶、移动机器人、具身智能的单目三维感知提供了新的基础模型方案。

一、LoFT 核心架构说明

  • 架构名称:双循环 Transformer
  1. 第一循环 LB1:时序注意力模块,聚合视频前后帧信息,不断扩大时间感受野,挖掘连续画面里的几何关联,提取通用几何特征
  2. 第二循环 LB2:由粗到细迭代优化,输出深度图、置信度、相机位姿、内参,再把更新后的相机状态反馈给第一轮特征计算,形成闭环优化
  • 输入:普通 RGB 连续视频流,不需要激光雷达、双目硬件配套
  • 输出:逐帧深度图、深度置信图、相机外参(位姿)、相机内参、场景三维重建结果

二、训练数据集信息

项目详情
训练序列总量297 万条有效视频序列
图像总帧数9.62 亿帧
场景覆盖仿真场景、真实场景、静态环境、含移动物体动态场景
数据处理流程统一清洗、质量筛选、采样策略,构建标准化三维训练库

三、三大评测基准介绍

  1. SpatialBench:通用 3D 空间重建基准,包含 12 个数据集、98 段连续视频场景,是本次 LoFT 拿到 SoTA 的核心评测集
  2. ClassicBench:经典视频重建基准,整合历史主流视频几何任务数据集
  3. VRBench:面向机器人、自动驾驶、通用视频的连续重建评测集

四、对比传统视频几何方案优缺点

✅ 优势

  1. 任务联合建模:深度、相机位姿、内参一起预测,减少分步计算带来的误差叠加
  2. 原生视频时序建模:不是单图模型后接时序融合,架构本身就是为连续视频设计
  3. 泛化性强:静态、动态场景都能适配,对普通消费级 RGB 视频输入友好
  4. 官方暂未公布端侧推理速度、显存占用详细参数,落地部署优化还需要配套工程适配
  5. 复杂遮挡、高速剧烈运动场景下,重建精度依然存在波动
  6. 目前公开信息以基准评测结果为主,量产上车、机器人落地还需要后续迭代验证

❌ 当前短板

五、典型落地应用方向

  • 自动驾驶单目感知、自车定位与三维环境重建
  • 移动机器人、人形机器人环境感知、导航避障
  • VR/AR 空间重建、空间扫描
  • 具身智能 Agent 空间理解、仿真环境对齐

【常见问题】

问题 1:地平线 LoFT 视频几何基础模型的 SoTA 结果是在哪些评测集上验证的?

回答 1:地平线 LoFT 视频几何基础模型的 SoTA 指标,在 SpatialBench、ClassicBench、VRBench 三套评测体系完成验证,其中 SpatialBench 是核心基准,覆盖 12 个数据集、98 段连续视频场景,多项深度估计指标超过 VGGT-ω、DA3-Giant 等主流模型。

问题 2:地平线 LoFT 视频几何基础模型的双循环 Transformer 是怎么工作的?

回答 2:地平线 LoFT 视频几何基础模型的双循环 Transformer 分为两轮计算,第一轮负责跨帧时序特征聚合,抓取视频里的连续几何信息;第二轮输出深度、相机位姿、内参,并且把更新后的相机状态回传给第一轮,循环迭代来降低几何估计误差。

问题 3:地平线 LoFT 视频几何基础模型是不是必须搭配激光雷达才能使用?

回答 3:地平线 LoFT 视频几何基础模型只需要 RGB 视频输入,不需要激光雷达、双目相机等额外传感器,依靠单目连续视频的时序几何信息完成三维重建,当然搭配激光雷达可以进一步做融合提升稳定性。

问题 4:地平线 LoFT 视频几何基础模型和普通单帧深度模型最大差别在哪?

回答 4:普通单帧深度模型一张图单独预测深度,不会利用前后帧时序约束;地平线 LoFT 视频几何基础模型原生面向连续视频设计,同时预测深度、相机位姿、内参,通过循环迭代校正,长视频序列下漂移更小,三维一致性更好。

【参考资料】

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家(腾讯新闻)

[2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻

[2026-11-18](地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征)地平线官网

【免责声明】

本文为地平线 LoFT 视频几何基础模型公开技术信息整理,SoTA 结论仅对应官方公布的三大评测基准结果;模型推理性能、端侧适配、量产可靠性还需要工程调优,评测效果不代表所有真实场景都能稳定达到同等指标,内容不构成选型、采购、商用落地承诺。

今日大家都在搜的词: