您的位置首页 >科技要闻 >

清华 Asking the World 框架AI 看视频建仿真世界、自主做物理实验来回答物理问题

清华团队推出的 Asking the World(简称 ATW)是一套通用物理推理智能体框架,它不再让 AI 直接看图猜答案,而是先读取视频画面,搭建一个可以运行的物理仿真世界,再主动在仿真环境里做干预实验、反复推演,依靠真实物理仿真结果输出答案,解决普通视觉大模型经常出现的物理常识错误、因果推理不准的问题,这套框架不需要大规模预训练和微调,搭配普通视觉语言模型就能工作,在 CLEVRER、ContPhy 两大经典物理推理测试集上,准确率相比直接用 VLM 看图回答提升明显,它内置自研 PolyWorld Engine 多物理仿真引擎,支持刚体、软体、布料、绳索、流体等多种材质的耦合模拟,AI 可以根据提问自主决定建模方式和实验方案,不用人为写死固定流程,未来在机器人、自动驾驶、物理仿真教学、工业故障推演这些场景都有落地潜力,不过它目前还属于科研原型,距离商业化大规模部署还有不少优化空间。

一、核心性能数据一览

测试基准ATW 准确率直接使用 Gemini-3-Flash 准确率提升幅度
CLEVRER80.82%34.32%+46.50 个百分点
ContPhy70.56%42.46%+28.10 个百分点

二、Asking the World 两大核心阶段

  1. 世界建模阶段:读取视频、反推物理参数
  2. 世界探测(自主实验)阶段:主动仿真、干预验证

AI 解析视频里物体外观、运动轨迹,通过系统识别算法估算质量、摩擦、阻尼这些看不见的物理参数,搭建和视频场景匹配、可运行的仿真世界,不是简单还原画面样子,而是还原背后的物理规则。

AI 根据问题,在仿真世界里设计实验,比如改变物体重量、调整碰撞条件,跑仿真看结果,用仿真得到的证据来回答运动预测、反事实假设、物理属性判断类问题。

三、和普通视觉大模型的关键差别

  • 普通 VLM:靠训练数据里的统计规律猜结果,容易违背物理规律,遇到少见场景容易出错。
  • Asking the World:把仿真当成可交互的实验台,AI 自己动手做实验,用物理引擎的运算结果作为答案依据。
  • 成本优势:属于无训练框架,直接复用现有视觉语言模型,不用重新大模型训练。

四、可支持的物理场景范围

  • 刚体碰撞、物体下落、弹射运动
  • 布料、绳索、软体物体形变
  • 流体运动、多材质互相耦合交互
  • 反事实问题:如果某个条件变了,结果会怎么样

五、后续落地方向与局限

  • 优势场景:机器人任务规划、具身智能、物理科普教学、工业仿真推演、自动驾驶场景物理验证。
  • 当前局限:对非常复杂真实场景的参数校准耗时较高,还属于科研原型,暂未开放面向大众的产品。

【常见问题】

问题 1:清华 Asking the World 是怎么实现看视频、建世界、做实验,用物理回答问题的?

回答 1:清华 Asking the World 分为世界建模和世界探测两步,AI 先读取视频重建带物理参数的仿真世界,再自主在仿真环境中设计物理实验、运行模拟,依靠仿真运算结果给出物理问题的答案,而不是单纯靠 AI 看图猜测。

问题 2:清华 Asking the World 一定要单独训练大模型才能使用吗?

回答 2:不用,清华 Asking the World 属于无训练的框架,它可以对接 Gemini-3-Flash 这类现成视觉语言模型,不需要专门预训练、微调,由 VLM 负责理解画面和问题,PolyWorld Engine 负责物理仿真实验。

问题 3:清华 Asking the World 做物理推理,相比普通视觉模型提升效果怎么样?

回答 3:在 CLEVRER、ContPhy 测试集上,清华 Asking the World 准确率比直接用 Gemini-3-Flash 看图回答分别提升 46.50、28.10 个百分点,能大幅减少 AI 回答物理问题时违背物理规律的错误。

问题 4:清华 Asking the World 里面的 PolyWorld Engine 仿真引擎能模拟哪些东西?

回答 4:PolyWorld Engine 是配套 Asking the World 的轻量多物理引擎,可以模拟刚体、软体、布料、绳索、流体,也支持多种材料在一起发生耦合交互,满足 AI 自主做物理实验的需求。

【参考资料】

[2026-11-10](看视频、建世界、做实验:清华 Asking the World 让 AI 用物理回答问题)新浪财经

[2026-09-25](Asking the World: Generalist Physical Reasoning through Agentic World Modeling and Probing)arXiv

[2026-11-10](清华 ATW 新框架:让 AI 通过仿真实验做物理推理)机器之心

[2026-11-09](物理推理新方案:从视频里构建可交互仿真世界)量子位

【免责声明】

本文内容基于公开论文、科技媒体报道整理解读,仅作为 AI 科研资讯参考,不构成技术采购、项目投资、产品研发决策建议;清华 Asking the World 目前为科研阶段原型框架,相关性能数据仅来自指定基准测试,实际复杂场景表现存在不确定性,全部技术细节、论文原文以 arXiv 及清华团队官方发布为准。

今日大家都在搜的词: