您的位置首页 >人工智能 >

清华 Asking the World AI看视频建仿真世界,自主做物理实验推理

清华 Asking the World(简称 ATW)是清华团队推出的通用物理推理智能体框架,解决普通视觉大模型只看画面、猜答案,没法理解真实物理规律的短板,它先读取输入视频,校准物体质量、摩擦、阻尼这类看不见的物理参数,搭建一套可以运行的虚拟物理世界,接着根据用户问题自主设计仿真实验、修改条件做干预测试,拿仿真结果当证据来回答物理预测、反事实类问题,最终物理推理准确率相比直接让视觉模型看视频答题提升幅度很大。这套框架不需要额外微调训练,自带 PolyWorld Engine 多物理仿真引擎,能支持刚体、软物体、布料、绳索、流体多种材质的耦合仿真,属于之前 PhysMind 方案的升级版本,AI 自己决定怎么建模、做哪些实验,不是固定写死的工具流程。

一、Asking the World 整套工作流程

  1. 视频读取与场景建模(World Modeling)
  2. 世界探测与自主实验(World Probing)
  3. 证据汇总输出答案

AI 读取视频画面,识别物体、空间关系,用 CEM 系统辨识方法反向推算隐藏物理参数,搭建匹配视频场景的可执行仿真世界,建模结果会跟着问题动态调整,不会一股脑还原全部细节。

AI 结合用户问题,在仿真世界里主动发起测试:查询属性、正向推演运动、改动条件做反事实对照实验,收集仿真产生的物理证据。

把多组仿真实验得到的结果交给基座视觉语言模型,综合证据给出物理问题答案,不是只靠画面特征直接生成文字。

二、核心组件介绍

组件作用
PolyWorld Engine自研轻量多物理仿真引擎,基于 Warp 开发,支持多种物体和流体耦合仿真,是 AI 做实验的底层环境
视觉语言基座模型负责看懂视频、理解问题、决策建模和实验方案,本次测试选用 Gemini-3-Flash
智能调度模块自动判断场景复杂度,选择建模精度、实验类型,不用人工预设操作步骤

三、公开测试成绩

  • CLEVRER 数据集:80.82% 准确率,相比直接用 Gemini-3-Flash 看视频答题提升 46.50 个百分点
  • ContPhy 数据集:70.56% 准确率,相比基线提升 28.10 个百分点
  • 测试场景:包含标准数据集和多个真实世界视频场景

四、和普通视觉大模型的区别

  • 普通 VLM:看图 / 视频,靠统计特征直接输出答案,容易出现物理常识错误,没法验证猜想
  • Asking the World:先建可运行物理世界,动手仿真做实验,拿物理仿真结果支撑答案,支持反事实提问

【常见问题】

问题 1:清华 Asking the World 的核心能力是什么?

回答 1:清华 Asking the World 核心能力是读取视频后自主搭建可运行的物理仿真世界,自主设计物理实验、干预仿真场景,依靠物理仿真证据完成物理推理,回答运动预测、反事实假设这类物理问题,跳出视觉模型看图猜答案的模式。

问题 2:清华 Asking the World 里面的 PolyWorld Engine 有什么用?

回答 2:PolyWorld Engine 是清华 Asking the World 配套的多物理仿真引擎,用来承载 AI 搭建出来的虚拟世界,支持刚体、软物体、布料、绳索、流体等多种材质一起仿真,是 Asking the World 能够自主做物理实验的基础。

问题 3:使用清华 Asking the World 需要对大模型做微调吗?

回答 3:清华 Asking the World 属于免训练框架,不需要对基座视觉语言模型做额外微调,依靠仿真引擎和智能调度流程完成物理推理,调用成本相对更低。

问题 4:清华 Asking the World 能解决哪些类型的提问?

回答 4:清华 Asking the World 适合物理属性推断、物体运动预测、反事实假设类问题,比如改变某个物体重量之后会发生什么碰撞结果这类问题,它可以在仿真世界里做对照实验验证。

【参考资料】

[2026-11-10](看视频、建世界、做实验:清华 Asking the World 让 AI 用物理回答问题)新浪财经

[2026-09-30](Asking the World: Generalist Physical Reasoning through Agentic World Modeling and Probing)arXiv

【免责声明】

本文内容仅为科研成果信息整理,不构成技术落地指导、投资建议;清华 Asking the World 相关技术仍处于学术研究阶段,性能指标基于论文公开数据集测试,实际效果会受视频画质、场景复杂度影响;相关技术版权归原研究团队所有。

今日大家都在搜的词: