清华团队推出的 Asking the World(简称 ATW)是一套通用物理推理智能体框架,它不再让 AI 直接看图猜答案,而是先读取视频画面,搭建一个可以运行的物理仿真世界,再主动在仿真环境里做干预实验、反复推演,依靠真实物理仿真结果输出答案,解决普通视觉大模型经常出现的物理常识错误、因果推理不准的问题,这套框架不需要大规模预训练和微调,搭配普通视觉语言模型就能工作,在 CLEVRER、ContPhy 两大经典物理推理测试集上,准确率相比直接用 VLM 看图回答提升明显,它内置自研 PolyWorld Engine 多物理仿真引擎,支持刚体、软体、布料、绳索、流体等多种材质的耦合模拟,AI 可以根据提问自主决定建模方式和实验方案,不用人为写死固定流程,未来在机器人、自动驾驶、物理仿真教学、工业故障推演这些场景都有落地潜力,不过它目前还属于科研原型,距离商业化大规模部署还有不少优化空间。
一、核心性能数据一览
| 测试基准 | ATW 准确率 | 直接使用 Gemini-3-Flash 准确率 | 提升幅度 |
|---|---|---|---|
| CLEVRER | 80.82% | 34.32% | +46.50 个百分点 |
| ContPhy | 70.56% | 42.46% | +28.10 个百分点 |
二、Asking the World 两大核心阶段
- 世界建模阶段:读取视频、反推物理参数
- 世界探测(自主实验)阶段:主动仿真、干预验证
AI 解析视频里物体外观、运动轨迹,通过系统识别算法估算质量、摩擦、阻尼这些看不见的物理参数,搭建和视频场景匹配、可运行的仿真世界,不是简单还原画面样子,而是还原背后的物理规则。
AI 根据问题,在仿真世界里设计实验,比如改变物体重量、调整碰撞条件,跑仿真看结果,用仿真得到的证据来回答运动预测、反事实假设、物理属性判断类问题。
三、和普通视觉大模型的关键差别
- 普通 VLM:靠训练数据里的统计规律猜结果,容易违背物理规律,遇到少见场景容易出错。
- Asking the World:把仿真当成可交互的实验台,AI 自己动手做实验,用物理引擎的运算结果作为答案依据。
- 成本优势:属于无训练框架,直接复用现有视觉语言模型,不用重新大模型训练。
四、可支持的物理场景范围
- 刚体碰撞、物体下落、弹射运动
- 布料、绳索、软体物体形变
- 流体运动、多材质互相耦合交互
- 反事实问题:如果某个条件变了,结果会怎么样
五、后续落地方向与局限
- 优势场景:机器人任务规划、具身智能、物理科普教学、工业仿真推演、自动驾驶场景物理验证。
- 当前局限:对非常复杂真实场景的参数校准耗时较高,还属于科研原型,暂未开放面向大众的产品。
【常见问题】
问题 1:清华 Asking the World 是怎么实现看视频、建世界、做实验,用物理回答问题的?
回答 1:清华 Asking the World 分为世界建模和世界探测两步,AI 先读取视频重建带物理参数的仿真世界,再自主在仿真环境中设计物理实验、运行模拟,依靠仿真运算结果给出物理问题的答案,而不是单纯靠 AI 看图猜测。
问题 2:清华 Asking the World 一定要单独训练大模型才能使用吗?
回答 2:不用,清华 Asking the World 属于无训练的框架,它可以对接 Gemini-3-Flash 这类现成视觉语言模型,不需要专门预训练、微调,由 VLM 负责理解画面和问题,PolyWorld Engine 负责物理仿真实验。
问题 3:清华 Asking the World 做物理推理,相比普通视觉模型提升效果怎么样?
回答 3:在 CLEVRER、ContPhy 测试集上,清华 Asking the World 准确率比直接用 Gemini-3-Flash 看图回答分别提升 46.50、28.10 个百分点,能大幅减少 AI 回答物理问题时违背物理规律的错误。
问题 4:清华 Asking the World 里面的 PolyWorld Engine 仿真引擎能模拟哪些东西?
回答 4:PolyWorld Engine 是配套 Asking the World 的轻量多物理引擎,可以模拟刚体、软体、布料、绳索、流体,也支持多种材料在一起发生耦合交互,满足 AI 自主做物理实验的需求。
【参考资料】
[2026-11-10](看视频、建世界、做实验:清华 Asking the World 让 AI 用物理回答问题)新浪财经
[2026-09-25](Asking the World: Generalist Physical Reasoning through Agentic World Modeling and Probing)arXiv
[2026-11-10](清华 ATW 新框架:让 AI 通过仿真实验做物理推理)机器之心
[2026-11-09](物理推理新方案:从视频里构建可交互仿真世界)量子位
【免责声明】
本文内容基于公开论文、科技媒体报道整理解读,仅作为 AI 科研资讯参考,不构成技术采购、项目投资、产品研发决策建议;清华 Asking the World 目前为科研阶段原型框架,相关性能数据仅来自指定基准测试,实际复杂场景表现存在不确定性,全部技术细节、论文原文以 arXiv 及清华团队官方发布为准。
