您的位置首页 >科技要闻 >

对话千觉马道林通用大模型落地物理世界,具身智能核心难点集中在触碰之后

千觉创始人马道林在本次访谈中提出核心观点,通用大模型能看懂文本、图片、视频,但想要真正走进物理世界做成具身智能,最大难点不在识别、规划,而在机器人和物体发生物理接触、触碰之后的反馈处理;视觉只能看到物体外观,触碰带来的摩擦力、形变、重量、接触位置等物理信息变化非常复杂,大模型很难仅凭先验知识稳定处理这类实时交互,这也是当前很多具身机器人停留在演示、难以规模化落地的关键卡点。通用大模型训练数据大多来自互联网图文,属于虚拟空间里的静态信息,缺少海量真实物理交互样本;机器人伸手抓取物品,视觉预判的姿态、力度,在触碰物体一瞬间就会因为物体滑动、软硬度不一、表面打滑出现偏差,模型没办法像人一样快速根据触觉反馈微调动作;很多方案只把大模型用来做上层任务规划,底层接触控制还是靠传统控制算法,两层之间很难无缝打通。

触碰之后,具身智能要解决的核心难点清单

  • 触觉信号理解:识别压力、摩擦、形变等触觉信息,区分打滑、塌陷、稳定夹持
  • 实时动态调整:触碰后快速修正抓取力度、姿态,避免捏碎物品或者滑落
  • 泛化能力:同一种物体不同摆放、不同表面状态,触碰反馈完全不一样
  • 虚实鸿沟:大模型文本知识和真实物理接触反馈之间缺少对齐
  • 低延迟闭环:触觉信号处理、模型推理、电机控制必须在极短时间完成

具身智能任务完整流程(区分触碰前和触碰后)

  1. 任务理解:大模型接收指令,拆解目标,规划行动序列(触碰前)
  2. 视觉定位:相机识别目标物体、估算位姿,生成预设抓取轨迹(触碰前)
  3. 执行接近:机械臂移动,夹爪靠近目标(触碰前)
  4. 接触触发:夹爪和物体发生触碰,采集触觉、力控信号(触碰节点)
  5. 接触闭环调节:根据触碰反馈调整力度、姿态,防止打滑、损坏物体(触碰之后,难点段)
  6. 搬运 / 操作:维持稳定夹持,完成后续动作
  7. 放回与复盘:任务结束,记录本次触碰交互数据,用于迭代模型

具身智能方案分层对比表

方案类型擅长环节短板
大模型上层规划 + 传统力控任务拆解、语义理解、长流程规划触碰之后的自适应泛化弱,新物体容易失败
端到端具身模型触觉 + 视觉联合学习,触碰后自适应需要海量物理交互数据,训练成本高
纯视觉具身方案不用触觉传感器,部署简单缺少触碰反馈,软物体、易滑物体成功率很低

整体来看,千觉马道林的这个判断点出了行业一个很现实的问题:现在大家很容易把重心放在让大模型看懂场景、会写行动步骤,也就是触碰之前的部分;但物理世界的不确定性全部爆发在触碰之后,想要让通用大模型真正走进物理世界,必须补齐触觉感知、力反馈闭环、物理世界在线学习这套能力,这也是千觉重点投入的方向。

【常见问题】

问题 1:千觉马道林提到通用大模型走进物理世界,具身智能难点为什么是触碰之后?

回答 1:因为触碰之前机器人靠视觉识别、大模型做任务规划,属于相对可控的环节;触碰之后会产生摩擦力、形变、打滑等不可预知的物理变化,互联网训练出来的通用大模型缺少这类真实交互经验,很难快速调整动作,这就是具身智能的核心卡点。

问题 2:触碰之后,具身智能主要依靠什么信号来调整动作?

回答 2:触碰之后,具身智能主要依靠触觉传感器、力传感器采集的接触信号,结合视觉信息,再由模型或者控制算法实时调整夹爪力度、机械臂姿态,避免物品滑落或者被夹坏。

问题 3:通用大模型直接做具身智能,为什么很难搞定触碰之后的交互?

回答 3:通用大模型的训练素材以图文为主,是虚拟世界的信息,缺少大量真实触碰交互样本;物理世界里物体材质、表面状态随时变化,触碰反馈没有固定模板,大模型很难直接泛化处理。

问题 4:想要解决触碰之后这个具身难点,行业一般有哪些技术路线?

回答 4:路线主要分为两种,一种是大模型负责上层规划,底层保留成熟力控闭环;另一种是视觉 + 触觉联合的端到端具身模型,不断在真实环境采集触碰数据做训练,提升模型在触碰之后的自适应能力。

【数据来源】

  • [2026-11-06](对话千觉马道林:当通用大模型走进物理世界,具身难点在 “触碰之后”)机器之心
  • [2026-11-06](具身智能访谈:千觉马道林谈物理交互与触觉闭环)智东西
  • [2026-11-05](具身智能行业观察:从视觉规划到触觉交互的落地鸿沟)新智元

【免责声明】

本文基于本次访谈公开内容整理,观点属于千觉马道林个人行业判断;具身智能、触觉大模型相关技术仍处在研发验证阶段,落地效果受传感器、算法、硬件平台多重因素影响。本文仅为产业资讯解读,不构成项目投入、创业及投资建议。

今日大家都在搜的词: