港科广推出了一套全新视频生成框架，已经对外开源，它可以只用一张静态图片直接生成驾驶视角视频，最大亮点是解决了 AI 视频常见的物体穿模、画面扭曲问题，生成画面的运动、车辆、道路环境的物理合理性还通过 Waymo 数据集做了实测验证，和普通文生视频、图生视频工具相比，在自动驾驶场景下的真实感和稳定性要强很多。传统图生视频模型做驾驶画面的时候，很容易出现车辆变形、路边物体错位、地面漂移穿模，根源是模型缺少物理约束，只靠画面像素匹配，没有绑定车辆运动逻辑、相机运动规则，这套框架专门加入自动驾驶领域的运动先验、几何约束，把相机位姿、道路几何、物体运动规律加到生成流程里面。想要使用这个港科广新框架，首先去开源仓库拉取代码，准备好单张驾驶场景图片作为输入，配置好依赖环境，运行推理脚本，框架会自动计算合理的相机行驶轨迹，生成连贯的驾驶视频，研究人员还开放了 Waymo 实测的评估脚本，其他人也可以复现物理合理性测试。这个框架对自动驾驶仿真、场景数据生成、车载视频素材制作都很有用，不过它现阶段还是科研版本，距离商用实时生成还有不少优化空间。
新旧图生驾驶视频方案对比
| 方案类型 | 输入条件 | 核心痛点 | 物理约束 |
|---|---|---|---|
| 普通图生视频模型 | 单图 / 提示词 | 频繁穿模、物体漂移、路面扭曲 | 无，纯视觉生成 |
| 港科广开源新框架 | 单张驾驶场景图 | 大幅抑制穿模，少量细节瑕疵 | 内置相机位姿、道路几何约束，Waymo 实测验证 |
框架核心优势清单
- 仅输入一张图片就能生成连续驾驶视频，不需要序列帧、标注数据
- 增加几何与运动先验，明显减少车辆、行人、路牌穿模错乱
- 在 Waymo 数据集上完成物理合理性指标测试，运动轨迹更符合真实行车逻辑
- 代码开源，科研人员、开发者可以直接下载、二次开发、复现实验
- 适配自动驾驶仿真场景，用来低成本扩充仿真场景素材
当前局限
- 属于科研原型，生成速度慢，达不到车载实时输出
- 远距离细节、复杂交互场景（多车穿插、行人突然横穿）依然容易出错
- 对输入图片质量有要求，画面模糊、严重遮挡的图片生成效果变差
- 目前只侧重驾驶视角，其他场景的视频生成能力没有做重点优化
【常见问题】
问题 1：港科广开源新框架，单图生成不穿模驾驶视频，Waymo 实测主要测什么？
回答 1：港科广开源新框架，单图生成不穿模驾驶视频，Waymo 实测主要验证生成视频里面相机运动、车辆位移、道路几何的物理合理性，判断画面运动是否符合真实自动驾驶场景规律。
问题 2：港科广开源新框架，单图生成不穿模驾驶视频，和普通 AI 图生视频差别在哪？
回答 2：港科广开源新框架，单图生成不穿模驾驶视频，普通图生视频只看画面像素，容易穿模漂移；这个框架加入自动驾驶几何、运动约束，生成的驾驶画面物理逻辑更稳，并且通过 Waymo 实测。
问题 3：港科广开源新框架，单图生成不穿模驾驶视频，普通人可以直接拿来做视频吗？
回答 3：港科广开源新框架，单图生成不穿模驾驶视频，它是科研开源项目，需要代码环境部署，上手门槛高，更适合开发者、自动驾驶研究人员，不适合普通用户直接一键生成短视频。
问题 4：港科广开源新框架，单图生成不穿模驾驶视频，开源之后可以用来做自动驾驶仿真数据吗？
回答 4：港科广开源新框架，单图生成不穿模驾驶视频，是可以用来生成自动驾驶仿真素材的，依托 Waymo 实测的物理约束，生成的驾驶场景相比普通 AI 视频更贴近真实路况，适合扩充训练数据集。
【参考资料】
[2026-11-10]（港科广新框架开源：单图生成无穿模驾驶视频，经 Waymo 验证）机器之心
[2026-11-09]（解决驾驶视频穿模问题，港科广图生视频新方案开源）AI 前线
[2026-11-08]（从单张图像生成物理可信驾驶视频，港科广研究登上 arXiv）量子位
[2026-11-05]（Waymo 数据集在自动驾驶视频生成领域的评估应用）智东西
【免责申明】
本文内容基于公开科研论文、科技媒体报道整理，港科广新框架单图生成不穿模驾驶视频、Waymo 实测为科研成果，仅适用于学术研究场景，不代表可直接商用落地，生成效果受输入图片、硬件环境影响，不构成项目开发、产品采购建议，具体代码、指标请以项目开源仓库和论文原文为准。