地平线机器人实验室在 11 月 18 日正式对外发布 LoFT 视频几何基础模型,全称 Looped Foundation Transformer for Video Geometry,这套模型不用额外激光雷达,只靠普通 RGB 视频,就可以同时算出相机位姿、相机内参和每一帧画面的深度信息,还原出整个场景的三维结构,在多个评测基准上拿到业界最优水平,主要用来给自动驾驶、服务机器人、具身智能补齐空间感知能力,解决机器看懂真实世界空间位置的难题。过去很多深度估计模型大多是基于单张图片或者零散图像做计算,很难用好视频里连续的时序信息,容易出现深度跳变、定位不准的问题;LoFT 采用双循环 Transformer 架构,第一轮循环聚合跨帧的视觉特征,第二轮循环迭代更新相机姿态,再把结果反馈回去反复优化,训练用了 297 万条视频序列、合计 9.62 亿帧图像,覆盖仿真场景、真实场景、动态物体、静态环境,泛化能力更强,也更适配车载和机器人端侧设备。
LoFT 模型核心架构说明
- 架构名称:双循环 Transformer
- 第一循环 LB1:时序注意力聚合,抓取不同帧之间的关联特征,扩大时间感受野
- 第二循环 LB2:由粗到细迭代优化,更新相机位姿、内参、深度,再回传特征做二次计算
- 输入:普通 RGB 彩色视频流
- 输出:逐帧深度图、相机位姿、相机内参、场景三维重建结果
不同空间感知方案对比
| 方案 | 输入硬件 | 特点 | 局限 |
|---|---|---|---|
| LoFT 视频几何模型 | 单目 RGB 摄像头 | 成本低、输出连续深度,自带相机定位,适合端侧部署 | 强光、大面积遮挡场景精度会下降 |
| 传统单图深度模型 | 单张 RGB 图片 | 推理简单 | 帧之间深度容易跳变,缺少相机轨迹信息 |
| 激光雷达方案 | 激光雷达 + 摄像头 | 精度稳定、抗干扰强 | 硬件成本高,体积大 |
LoFT 落地适用场景清单
- 自动驾驶:辅助感知障碍物距离、道路三维结构,支撑规控与地图重建
- 通用机器人:扫地机器人、人形机器人的环境建图、避障、导航
- 三维重建:室内、园区实景三维扫描,数字资产快速生成
- 具身智能:给智能体提供空间几何信息,支撑抓取、移动等交互任务
后续落地推进步骤
- 开放模型能力给合作伙伴、开发者做适配测试
- 针对地平线征程系列芯片做端侧量化优化,降低算力消耗
- 在真实车端、机器人场景持续采集数据迭代版本
- 对接现有感知、建图算法,做成可直接调用的基础能力组件
【常见问题】
问题 1:地平线发布的 LoFT 视频几何基础模型,能实现什么核心能力?
回答 1:地平线 LoFT 视频几何基础模型仅依靠 RGB 视频,就可以联合预测相机位姿、内参和逐帧深度,还原场景三维结构,给自动驾驶、机器人、具身智能提供空间感知能力。
问题 2:LoFT 视频几何基础模型和普通单图深度模型差别在哪?
回答 2:普通单图深度模型只看单张图片,缺少时序关联,容易深度跳变;LoFT 是原生面向连续视频设计,依靠双循环 Transformer 反复迭代优化相机姿态和深度,稳定性更好,还能同步输出相机轨迹。
问题 3:LoFT 视频几何基础模型可以直接在车载端、机器人上面跑吗?
回答 3:LoFT 本身面向端侧场景设计,后续会针对地平线征程芯片做专门优化,完成适配后就可以搭载在自动驾驶、机器人设备上做实时空间感知。
【参考资料】
[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家
[2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻
[2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews
[2026-11-18](地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征)地平线官网
【免责声明】
本文内容为地平线公开技术资讯整理,LoFT 视频几何基础模型的实测效果、开放计划、商业化落地时间以地平线官方后续公告为准;技术指标为实验室评测结果,真实工况表现会受光照、遮挡、端侧算力影响,不构成企业采购、项目投资建议。
