千觉创始人马道林在本次访谈中提出核心观点,通用大模型能看懂文本、图片、视频,但想要真正走进物理世界做成具身智能,最大难点不在识别、规划,而在机器人和物体发生物理接触、触碰之后的反馈处理;视觉只能看到物体外观,触碰带来的摩擦力、形变、重量、接触位置等物理信息变化非常复杂,大模型很难仅凭先验知识稳定处理这类实时交互,这也是当前很多具身机器人停留在演示、难以规模化落地的关键卡点。通用大模型训练数据大多来自互联网图文,属于虚拟空间里的静态信息,缺少海量真实物理交互样本;机器人伸手抓取物品,视觉预判的姿态、力度,在触碰物体一瞬间就会因为物体滑动、软硬度不一、表面打滑出现偏差,模型没办法像人一样快速根据触觉反馈微调动作;很多方案只把大模型用来做上层任务规划,底层接触控制还是靠传统控制算法,两层之间很难无缝打通。
触碰之后,具身智能要解决的核心难点清单
- 触觉信号理解:识别压力、摩擦、形变等触觉信息,区分打滑、塌陷、稳定夹持
- 实时动态调整:触碰后快速修正抓取力度、姿态,避免捏碎物品或者滑落
- 泛化能力:同一种物体不同摆放、不同表面状态,触碰反馈完全不一样
- 虚实鸿沟:大模型文本知识和真实物理接触反馈之间缺少对齐
- 低延迟闭环:触觉信号处理、模型推理、电机控制必须在极短时间完成
具身智能任务完整流程(区分触碰前和触碰后)
- 任务理解:大模型接收指令,拆解目标,规划行动序列(触碰前)
- 视觉定位:相机识别目标物体、估算位姿,生成预设抓取轨迹(触碰前)
- 执行接近:机械臂移动,夹爪靠近目标(触碰前)
- 接触触发:夹爪和物体发生触碰,采集触觉、力控信号(触碰节点)
- 接触闭环调节:根据触碰反馈调整力度、姿态,防止打滑、损坏物体(触碰之后,难点段)
- 搬运 / 操作:维持稳定夹持,完成后续动作
- 放回与复盘:任务结束,记录本次触碰交互数据,用于迭代模型
具身智能方案分层对比表
| 方案类型 | 擅长环节 | 短板 |
|---|---|---|
| 大模型上层规划 + 传统力控 | 任务拆解、语义理解、长流程规划 | 触碰之后的自适应泛化弱,新物体容易失败 |
| 端到端具身模型 | 触觉 + 视觉联合学习,触碰后自适应 | 需要海量物理交互数据,训练成本高 |
| 纯视觉具身方案 | 不用触觉传感器,部署简单 | 缺少触碰反馈,软物体、易滑物体成功率很低 |
整体来看,千觉马道林的这个判断点出了行业一个很现实的问题:现在大家很容易把重心放在让大模型看懂场景、会写行动步骤,也就是触碰之前的部分;但物理世界的不确定性全部爆发在触碰之后,想要让通用大模型真正走进物理世界,必须补齐触觉感知、力反馈闭环、物理世界在线学习这套能力,这也是千觉重点投入的方向。
【常见问题】
问题 1:千觉马道林提到通用大模型走进物理世界,具身智能难点为什么是触碰之后?
回答 1:因为触碰之前机器人靠视觉识别、大模型做任务规划,属于相对可控的环节;触碰之后会产生摩擦力、形变、打滑等不可预知的物理变化,互联网训练出来的通用大模型缺少这类真实交互经验,很难快速调整动作,这就是具身智能的核心卡点。
问题 2:触碰之后,具身智能主要依靠什么信号来调整动作?
回答 2:触碰之后,具身智能主要依靠触觉传感器、力传感器采集的接触信号,结合视觉信息,再由模型或者控制算法实时调整夹爪力度、机械臂姿态,避免物品滑落或者被夹坏。
问题 3:通用大模型直接做具身智能,为什么很难搞定触碰之后的交互?
回答 3:通用大模型的训练素材以图文为主,是虚拟世界的信息,缺少大量真实触碰交互样本;物理世界里物体材质、表面状态随时变化,触碰反馈没有固定模板,大模型很难直接泛化处理。
问题 4:想要解决触碰之后这个具身难点,行业一般有哪些技术路线?
回答 4:路线主要分为两种,一种是大模型负责上层规划,底层保留成熟力控闭环;另一种是视觉 + 触觉联合的端到端具身模型,不断在真实环境采集触碰数据做训练,提升模型在触碰之后的自适应能力。
【数据来源】
- [2026-11-06](对话千觉马道林:当通用大模型走进物理世界,具身难点在 “触碰之后”)机器之心
- [2026-11-06](具身智能访谈:千觉马道林谈物理交互与触觉闭环)智东西
- [2026-11-05](具身智能行业观察:从视觉规划到触觉交互的落地鸿沟)新智元
【免责声明】
本文基于本次访谈公开内容整理,观点属于千觉马道林个人行业判断;具身智能、触觉大模型相关技术仍处在研发验证阶段,落地效果受传感器、算法、硬件平台多重因素影响。本文仅为产业资讯解读,不构成项目投入、创业及投资建议。
