在 CNCC 2026 会议上,上海交大张伟楠教授分享了 AI 从纯文本、图像这类屏幕内的数字任务,走向操控机器人、实物设备、真实环境等物理世界的相关思考,核心难点不是大模型看懂文字图片,而是物理世界自带不确定性、观测有噪声、动作会产生真实不可逆的影响,数字空间里效果很好的大模型,直接拿到物理环境里很容易失效,想要让 AI 真正走出屏幕改变物理世界,需要把大模型的认知能力、世界模型、机器人控制、环境反馈闭环结合在一起,而不是单纯把 LLM 当成指令翻译器。
AI 走出屏幕、进入物理世界的核心阻碍
- 物理环境是动态且不确定的
- 动作具备不可逆风险
- 感知存在局限和噪声
- 大模型缺少物理先验
- 数字仿真和真实世界存在鸿沟
数字仿真里参数固定,真实世界物体位置、摩擦力、光照随时变化,同样的指令,每次执行结果不一样。
屏幕里 AI 生成文字图片,错了删掉重生成就行;物理世界机器人抓取、设备操作一旦出错,会损坏物品、引发安全事故。
摄像头、传感器拿到的信息不全,会有遮挡、反光、信号丢失,AI 没办法拿到完整的环境状态。
通用大模型是在互联网文本上训练,没有天然的力学、几何、动力学常识,容易输出不符合物理规律的动作方案。
仿真里训练好的策略,直接迁移到真机上会出现仿真到现实的迁移 gap,也就是现实域偏差。
落地闭环的搭建步骤
- 搭建轻量化世界模型,让 AI 预测物理动作带来的结果
- 大模型负责高层任务规划,不直接输出底层控制信号
- 构建实时反馈闭环
- 仿真预训练 + 真机微调,降低试错成本
- 增加安全校验层
- 持续收集物理交互数据,迭代模型
- 优先从简单结构化场景切入,再逐步复杂化
基于传感器观测,训练环境动力学模型,AI 在脑子里先模拟一遍动作效果,预判会不会失败。
大模型理解自然语言目标,拆解成一系列子任务;底层控制器负责电机、舵机等精准控制,各司其职。
机器人执行动作之后,传感器持续采集新状态,回传给模型,动态调整方案,而不是一次性执行完整套计划。
绝大多数探索、训练在仿真环境完成,再到真实物理世界做少量微调,减少真机上的危险试错。
在执行层加入规则校验、力控限位、紧急停止逻辑,拦截明显不合理、危险的动作指令。
把真机交互的成功、失败样本回流,持续优化世界模型和任务规划能力。
先做分拣、搬运、桌面操作这类受限场景,再开放到无约束的家庭、户外复杂环境。
数字空间 AI 与物理世界 AI 对比表
| 类型 | 典型载体 | 主要特点 | 容错能力 |
|---|---|---|---|
| 屏幕内 AI | 大模型、文生图、AI 对话 | 输入输出都是数字信息,可反复生成 | 容错高,出错无实体损失 |
| 走出屏幕的物理 AI | 机器人、智能硬件、机械臂 | 需要感知、规划、执行、环境反馈闭环 | 容错低,错误会带来实体风险 |
简单来说,张伟楠教授在 CNCC 2026 的分享传递的核心思路:想让 AI 走出屏幕改变物理世界,不能只靠更强的大模型,重点是补齐物理世界预测能力、分层控制架构和安全闭环,用大模型做思考规划,用世界模型预判结果,用底层控制器完成真实动作,同时依靠传感器反馈持续修正。
【常见问题】
问题 1:上交大张伟楠教授在 CNCC 2026 提出,AI 想要走出屏幕、改变物理世界,最大难点是什么?
回答 1:上交大张伟楠教授在 CNCC 2026 分享中提出,AI 走出屏幕改变物理世界最大难点是真实物理环境不确定、传感器有噪声、动作不可逆,通用大模型缺少物理常识,仿真和现实之间存在迁移鸿沟,数字空间的方案没法直接复用。
问题 2:按照 CNCC 2026 张伟楠教授的思路,AI 走出屏幕进入物理世界,大模型应该承担什么角色?
回答 2:按照 CNCC 2026 张伟楠教授的思路,AI 走出屏幕进入物理世界时,大模型适合做高层自然语言理解、任务拆解和规划,不适合直接输出底层电机控制指令,底层动作交给专用控制器,搭配世界模型做结果预判。
问题 3:想让 AI 走出屏幕落地物理世界,CNCC 2026 张伟楠教授的方案里,世界模型起到什么作用?
回答 3:在 CNCC 2026 张伟楠教授的这套方案里,世界模型用来学习物理动力学规律,让 AI 在执行动作前先预测操作带来的结果,提前规避失败和危险,降低在真实物理世界试错的成本。
【数据来源】
[2026-11-06](上交大张伟楠教授:AI 如何走出屏幕,真正改变物理世界? | CNCC 2026)机器之心
[2026-11-02](CNCC2026 张伟楠 具身智能与世界模型论坛实录)智源社区
[2026-10-28](具身智能:大模型从数字走向物理世界的技术路径)InfoQ
[2026-10-20](世界模型、仿真迁移、机器人分层控制前沿综述)知乎
【免责声明】
本文仅为 CNCC2026 张伟楠教授相关分享内容的整理解读,不代表教授完整学术观点。具身智能、物理世界 AI 落地技术路线仍在快速迭代,不同硬件、场景的方案差异很大,直接落地机器人、实体硬件项目前请充分评估安全风险,本内容不承担落地改造带来的设备损坏、安全事故等相关责任。
