您的位置首页 >人工智能 >

对话西湖大学于开丞通用语言模型再强,物理世界也「等不起」,世界模型是具身智能刚需

西湖大学工学院助理教授、西湖世界模型研究中心主任于开丞在专访中提出核心观点,就算通用大语言模型、多模态模型在文字、视频生成上表现亮眼,也没法直接搞定物理世界里的机器人、自动驾驶这类交互任务,物理世界是实时、连续、有因果约束的,容错空间很小,没办法像文字对话一样慢慢试错,也就是物理世界 “等不起”;他同时解释,语言模型本质是文本符号概率预测,缺少真实物理因果认知,而世界模型专门用来预判物体运动、碰撞、受力变化,是机器人、自动驾驶这类物理智能必须的底层能力,他带领团队选择了不走像素生成路线的概念世界模型,在隐空间抽象物理概念做推演,也是西湖大学成立校级世界模型研究中心的核心逻辑。

受访人基础信息

  • 受访人:于开丞,西湖大学工学院助理教授、自主智能实验室 AutoLab 负责人、西湖世界模型研究中心主任
  • 研究方向:世界模型、具身智能、机器人操作、自动驾驶
  • 技术路线:概念世界模型(隐空间表征,不优先生成高清像素画面)
  • 相关主体:西湖大学西湖世界模型研究中心、西湖数智 Awomo
  • 过往背景:曾在 EPFL、阿里达摩院自动驾驶实验室从事研究,拿下 ECCV 自动驾驶赛道世界冠军后主动切换研究路线

核心观点拆解

  1. 语言模型的短板:语言模型学的是文字、图像的统计关联,不是真实物理因果。它可以写方案、生成视频,但很难稳定预判 “杯子碰到桌边会不会掉落” 这类物理结果,一旦放到真实机器人身上,预判出错就会直接造成硬件损坏或者安全事故。
  2. 物理世界的特点:真实环境动态变化、有连续时序约束,动作发出之后立刻产生结果,没有反复重试、多轮思考的缓冲时间,也就是 “等不起”。
  3. 世界模型的定位:给 AI 搭建物理心智,在执行动作之前,先在模型内部预演动作带来的后果,预判环境下一时刻状态,再决定要不要执行、怎么调整动作。
  4. 概念世界模型路线:放弃渲染逼真画面,把场景拆解成空间关系、材质、受力、接触状态等可复用物理概念,在隐空间做组合推演,陌生场景也能泛化,降低训练成本。

概念世界模型 vs 主流像素生成类世界模型对比

模型路线核心思路输出形式优势短板
概念世界模型(于开丞团队路线)抽象物理概念、因果关系,隐空间推演不输出像素视频,输出状态表征泛化能力强、算力开销更低,适合机器人实时决策不容易直观可视化,落地门槛更高
像素生成式世界模型直接生成下一帧画面、视频高清图像 / 视频直观,容易评估画面效果算力消耗巨大,容易记住画面而不是物理规律,泛化弱
通用语言 / 多模态大模型文本、图像统计拟合文字、图片、视频知识丰富、对话能力强缺少稳定物理因果,不适合实时机器人控制

团队与中心进展清单

  1. 西湖世界模型研究中心:西湖大学校级交叉科研平台,2026 年 10 月底正式成立,由施一公校长站台支持。
  2. 数据集:清洗超 50 万小时具身物理数据,搭建近千卡跨地域算力平台。
  3. 评测成绩:概念世界模型在 RoboDojo-Sim 等机器人操作评测任务取得不错成绩,在扰动、精细操作场景泛化优于传统模仿学习、强化学习方案。
  4. 落地合作:和车企、人形机器人企业合作,面向自动驾驶、工业操作机器人等场景验证。
  5. 行业判断:当前世界模型还处在早期,类似早期大语言模型阶段,持续迭代之后会迎来物理 AI 的 “GPT 时刻”。

行业容易混淆的误区

很多人看到 GPT 类模型在机器人评测榜单上拿到不错成绩,就认为语言模型可以替代世界模型。于开丞认为这类测试大多是在仿真环境、固定场景下做的,一旦放到真实、充满扰动的物理世界,语言模型的预测稳定性会快速下滑,没法承担机器人的安全决策。

【常见问题】

问题 1:对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」,这句话是什么意思?

回答 1:对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」,意思是通用大语言模型擅长文字对话,但物理世界实时联动、动作后果即时生效,没有充足时间反复试错,语言模型缺少稳定物理因果判断,不能直接用来控制机器人。

问题 2:对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」,于开丞主推的是什么世界模型路线?

回答 2:对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」,他主推概念世界模型路线,不优先生成像素画面,而是在隐空间抽象物理概念、因果关系来推演环境变化。

问题 3:对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」,于开丞在西湖大学是什么职位?

回答 3:对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」,于开丞是西湖大学工学院助理教授、自主智能实验室负责人、西湖世界模型研究中心主任。

问题 4:对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」,世界模型和语言模型核心差别是什么?

回答 4:对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」,语言模型做符号概率预测,世界模型专门学习物理因果、预判环境下一时刻状态,是机器人、自动驾驶做安全决策的底层模块。

【参考资料】

[2026-11-19](对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」)新浪科技

[2026-10-31](西湖世界模型研究中心成立 聚焦物理智能前沿布局)中国新闻网

[2026-10-31](当 AI 开始拥有 “世界观”:西湖大学成立世界模型研究中心)人民网

[2026-09-23](刚拿世界冠军,他却主动放弃已跑通路线)科学网

[2026-08-07](对话西湖数智创始人于开丞:走专用模型老路,具身智能进家庭要等上百年)新浪财经

【免责声明】

本文内容来自于开丞公开专访和西湖大学相关科研发布,属于前沿学术观点,世界模型技术路线尚未形成统一行业标准;不同团队技术方案、落地效果存在差异,内容仅为前沿资讯整理,不构成技术选型、投资建议。

今日大家都在搜的词: