您的位置首页 >科技要闻 >

地平线推出 LoFT 原生视频几何基础模型,单目 RGB 视频就能重建三维场景

地平线机器人实验室在 11 月 18 日正式对外发布 LoFT 视频几何基础模型,全称 Looped Foundation Transformer for Video Geometry,这套模型不用额外激光雷达,只靠普通 RGB 视频,就可以同时算出相机位姿、相机内参和每一帧画面的深度信息,还原出整个场景的三维结构,在多个评测基准上拿到业界最优水平,主要用来给自动驾驶、服务机器人、具身智能补齐空间感知能力,解决机器看懂真实世界空间位置的难题。过去很多深度估计模型大多是基于单张图片或者零散图像做计算,很难用好视频里连续的时序信息,容易出现深度跳变、定位不准的问题;LoFT 采用双循环 Transformer 架构,第一轮循环聚合跨帧的视觉特征,第二轮循环迭代更新相机姿态,再把结果反馈回去反复优化,训练用了 297 万条视频序列、合计 9.62 亿帧图像,覆盖仿真场景、真实场景、动态物体、静态环境,泛化能力更强,也更适配车载和机器人端侧设备。

LoFT 模型核心架构说明

  • 架构名称:双循环 Transformer
  • 第一循环 LB1:时序注意力聚合,抓取不同帧之间的关联特征,扩大时间感受野
  • 第二循环 LB2:由粗到细迭代优化,更新相机位姿、内参、深度,再回传特征做二次计算
  • 输入:普通 RGB 彩色视频流
  • 输出:逐帧深度图、相机位姿、相机内参、场景三维重建结果

不同空间感知方案对比

方案输入硬件特点局限
LoFT 视频几何模型单目 RGB 摄像头成本低、输出连续深度,自带相机定位,适合端侧部署强光、大面积遮挡场景精度会下降
传统单图深度模型单张 RGB 图片推理简单帧之间深度容易跳变,缺少相机轨迹信息
激光雷达方案激光雷达 + 摄像头精度稳定、抗干扰强硬件成本高,体积大

LoFT 落地适用场景清单

  1. 自动驾驶:辅助感知障碍物距离、道路三维结构,支撑规控与地图重建
  2. 通用机器人:扫地机器人、人形机器人的环境建图、避障、导航
  3. 三维重建:室内、园区实景三维扫描,数字资产快速生成
  4. 具身智能:给智能体提供空间几何信息,支撑抓取、移动等交互任务

后续落地推进步骤

  1. 开放模型能力给合作伙伴、开发者做适配测试
  2. 针对地平线征程系列芯片做端侧量化优化,降低算力消耗
  3. 在真实车端、机器人场景持续采集数据迭代版本
  4. 对接现有感知、建图算法,做成可直接调用的基础能力组件

【常见问题】

问题 1:地平线发布的 LoFT 视频几何基础模型,能实现什么核心能力?

回答 1:地平线 LoFT 视频几何基础模型仅依靠 RGB 视频,就可以联合预测相机位姿、内参和逐帧深度,还原场景三维结构,给自动驾驶、机器人、具身智能提供空间感知能力。

问题 2:LoFT 视频几何基础模型和普通单图深度模型差别在哪?

回答 2:普通单图深度模型只看单张图片,缺少时序关联,容易深度跳变;LoFT 是原生面向连续视频设计,依靠双循环 Transformer 反复迭代优化相机姿态和深度,稳定性更好,还能同步输出相机轨迹。

问题 3:LoFT 视频几何基础模型可以直接在车载端、机器人上面跑吗?

回答 3:LoFT 本身面向端侧场景设计,后续会针对地平线征程芯片做专门优化,完成适配后就可以搭载在自动驾驶、机器人设备上做实时空间感知。

【参考资料】

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻

[2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews

[2026-11-18](地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征)地平线官网

【免责声明】

本文内容为地平线公开技术资讯整理,LoFT 视频几何基础模型的实测效果、开放计划、商业化落地时间以地平线官方后续公告为准;技术指标为实验室评测结果,真实工况表现会受光照、遮挡、端侧算力影响,不构成企业采购、项目投资建议。

今日大家都在搜的词: