英伟达 Lyra 2.0 已经正式开源,它最核心的能力就是只用一张静态照片当输入,就能生成最长约 90 米、空间稳定、可以自由漫游探索的 3D 虚拟世界,轻量版本生成 80 帧片段速度相比原版提升大约 13 倍,代码和模型权重都上传到 GitHub、Hugging Face,开发者可以直接下载测试。之前很多单图转 3D 的方案都有两个老大难问题,一个是空间遗忘,镜头回头再看同一个地方,物体样子、结构会变;另一个是时间漂移,镜头往前走得越远,几何和纹理误差越堆越多,画面慢慢变形。Lyra 2.0 专门针对这两个痛点做了空间记忆机制和自纠错训练,会保存每一帧的 3D 几何信息用来检索历史画面,训练的时候主动拿自己生成的瑕疵样本学习修正偏差,保证漫游折返的时候场景不会乱变。整套流程是先给一张图,用户自定义相机移动路线,模型持续生成连贯漫游视频,再把视频重建为 3D 高斯泼溅或者网格模型,输出结果可以直接导入 Isaac Sim 仿真引擎,用来做机器人仿真、虚拟场景搭建、VR/AR 环境制作。在单块 GB200 显卡上实测,原版模型生成 80 帧要 194 秒,蒸馏后的轻量模型只需要 15 秒,去噪步数从 35 步压缩到 4 步,速度提升非常明显。
Lyra 2.0 核心能力清单
| 项目 | 详情 |
|---|---|
| 输入素材 | 单张静态图片 |
| 最大有效场景范围 | 约 90 米可连续漫游空间 |
| 输出格式 | 3D 高斯泼溅、多边形网格、漫游视频 |
| 开源地址 | GitHub(代码)、Hugging Face(模型权重) |
| 开源协议 | Apache 2.0(代码),英伟达科研模型协议(权重) |
| 硬件测试环境 | GB200 GPU |
| 80 帧生成耗时 | 原版 194s / 轻量版 15s |
| 提速幅度 | 约 13 倍 |
Lyra 2.0 解决的两大行业痛点
- 空间遗忘
- 时间漂移
普通长视频生成模型没有长期空间记忆,镜头走出去再转回来,同一个位置会生成不一样的物体,场景逻辑崩坏。Lyra 2.0 保存每一帧 3D 几何信息,镜头回到旧区域时自动调取历史画面信息,保证前后一致。
一步步自动生成画面的时候,微小误差会不断叠加,走远之后模型把墙体、地面、物体形状画歪。Lyra 2.0 用自增强训练,主动学习修复自己生成的错误,阻止误差持续放大。
Lyra 2.0 使用流程
- 准备一张参考图片,作为整个 3D 世界的起点。
- 设置相机漫游轨迹,规划镜头前进、转弯、回头的路线。
- 模型持续生成连贯漫游视频,同步记录空间几何信息,维持场景一致性。
- 把生成的视频序列重建为 3D 高斯或者网格资产。
- 导出 3D 文件,放到仿真引擎、渲染软件、VR 平台里使用。
Lyra 2.0 主要落地方向
- 机器人仿真训练:在 Isaac Sim 里快速批量生成虚拟训练环境,降低实景采集成本
- VR/AR 沉浸式场景:快速生成可走动的虚拟空间
- 游戏、数字内容开发:辅助快速搭建外景、小镇、自然环境原型
- 数字孪生、虚拟漫游项目原型制作
【常见问题】
问题 1:英伟达 Lyra 2.0 单图生成的 90 米 3D 世界,超过 90 米之后还能继续生成吗?
回答 1:英伟达 Lyra 2.0 的稳定可控范围大约是 90 米,超过这个距离之后,空间一致性、画面出错概率会明显上升,并不是说完全不能生成,只是很难保证不出现空间遗忘、时间漂移的问题,官方测试主要在 90 米区间验证效果。
问题 2:Lyra 2.0 提速 13 倍的轻量版本,画质会不会下降很多?
回答 2:Lyra 2.0 轻量版本是知识蒸馏压缩出来的,把去噪步数压缩到 4 步,优先保证空间一致性,对比完整版会有轻微画质损失,适合快速迭代、批量生成场景;追求最高画面质量还是要用原版模型。
问题 3:普通人可以直接跑英伟达 Lyra 2.0 吗,对显卡要求高不高?
回答 3:Lyra 2.0 是科研向开源项目,官方测试用的是 GB200,普通消费显卡显存不够很难流畅跑通,更适合 AI 开发者、实验室团队使用,暂时没有简单一键可视化桌面程序。
问题 4:Lyra 2.0 生成出来的 3D 模型能不能商用?
回答 4:Lyra 2.0 代码是 Apache 2.0 协议,允许修改商用;模型权重遵循英伟达科研模型许可,商用需要单独看许可条款,不能直接默认免费商用。
【参考资料】
[2026-11-10](一张照片生成 90 米 3D 世界!英伟达 Lyra 2.0 开源:速度暴增 13 倍)新浪科技
[2026-11-10](英伟达发布 Lyra 2.0:单图生成一致可交互三维空间)中关村在线
[2026-04-17](英伟达发布 Lyra 2.0:单图生成 90 米连贯 3D 环境)DoNews
[2026-04-15](Lyra 2.0: Explorable Generative 3D Worlds)NVIDIA Spatial Intelligence Lab
【免责声明】
本文信息整理自公开技术新闻、项目论文,Lyra 2.0 属于英伟达科研开源项目,性能数据基于官方 GB200 环境测试,不同硬件、图片素材、相机轨迹下效果和速度存在差异;开源许可、商用权限以英伟达官方仓库内的协议原文为准,本文不构成商用落地建议。
