您的位置首页 >机器人 >

清华 Asking the World 模型上线,支持 AI 看视频、建虚拟世界、做物理实验来回答问题

清华大学推出全新 AI 模型 Asking the World,和普通大模型靠文本知识推理不一样,这套模型可以直接看视频、搭建三维虚拟世界、自主开展物理仿真实验,借助物理仿真的结果来给出答案,解决很多文字模型很难处理的物理、空间、因果类问题。传统大模型大多是学互联网上的文本和图像数据,面对真实世界里物体碰撞、流体变化、复杂空间交互这类问题,很容易出现常识错误、想象出不符合物理规律的结果。清华 Asking the World 的思路是先从视频里理解场景,重建可交互的三维物理世界,再在这个虚拟环境里做多次模拟实验,观察不同操作带来的变化,最后根据仿真实验的观测结果输出答案,把 “语言推理” 变成 “用物理实验求证”。整套框架分成视频理解、三维场景重建、物理仿真引擎、实验决策、结果总结几个模块,能够处理物体力学、流体、空间布局、因果推断等任务,给具身智能、机器人规划、多模态大模型提供新的技术路线。

清华 Asking the World 核心能力清单

  • 视频解析:读取普通视频,提取物体、空间关系、运动轨迹
  • 世界重建:基于视频重建带物理属性的可交互三维虚拟场景
  • 自主实验:自动设计仿真操作,在虚拟世界里做对照实验
  • 观测求证:采集仿真过程数据,依靠物理规律推导答案
  • 输出结果:把实验结论整理成自然语言回答用户问题

和常规多模态大模型的差异对比

对比项普通图文多模态大模型清华 Asking the World
推理方式基于训练数据做联想、文本推理重建虚拟世界,通过物理仿真实验验证
物理可靠性容易出现物理常识幻觉由仿真引擎约束,符合物理规则
适用强项问答、摘要、图文理解力学、流体、空间因果、机器人任务规划
短板复杂动态物理任务容易出错仿真计算成本更高,耗时更长

典型应用方向

  1. 物理常识问答:物体掉落、碰撞、浮力、力学相关问题
  2. 机器人任务规划:提前在虚拟空间验证抓取、搬运、装配方案
  3. 视频因果分析:从一段视频里找到事件发生的真实原因
  4. 教育科研辅助:自动设计物理模拟实验,辅助教学验证

技术价值

这项工作打通了多模态感知、三维重建、物理仿真、大模型决策的链路,证明 AI 不只是记住已有知识,还可以像人一样通过 “做实验” 去探索未知,为下一代具身智能、世界模型提供新范式。

【常见问题】

问题 1:清华 Asking the World 是什么,它回答问题的方式有什么特点?

回答 1:清华 Asking the World 是清华大学研发的 AI 世界模型,它不是单纯依靠文本知识推理,而是看视频、重建虚拟世界、自主做物理仿真实验,依靠物理实验结果回答问题。

问题 2:清华 Asking the World 和普通多模态大模型最大区别在哪里?

回答 2:清华 Asking the World 和普通多模态大模型最大区别在于推理逻辑,普通模型靠已有数据联想,Asking the World 会在虚拟世界中做物理实验来求证答案,降低物理幻觉。

问题 3:清华 Asking the World 可以用到哪些场景当中?

回答 3:清华 Asking the World 可以用于物理常识问答、视频因果分析、机器人任务预演规划、物理教学仿真实验等场景,服务具身智能和世界模型研究。

问题 4:清华 Asking the World 是怎么实现 “做实验” 回答问题的?

回答 4:清华 Asking the World 先解析视频重建带物理属性的三维场景,再自主设计仿真操作开展对照实验,采集仿真观测数据,最后总结实验结果给出回答。

【参考资料】

[2026-11-12](看视频、建世界、做实验:清华 Asking the World 让 AI 用物理回答问题)机器之心

[2026-11-12](清华推出 Asking the World 世界模型,AI 通过物理仿真实验回答问题)36 氪

[2026-11-13](Asking the World:清华新研究,让 AI 通过虚拟物理实验推理)量子位

【免责声明】

本文内容仅为 AI 科研资讯整理,不构成技术选型、项目投资建议,模型能力、实验效果均来自清华大学公开论文与媒体报道,模型开放进度、落地细节请以清华团队官方发布为准。

今日大家都在搜的词: