您的位置首页 >人工智能 >

GPT 控制机械臂风险实测悬菜刀、丢手机入水,安全隐患突出

GPT 直接控制机械臂的实验视频引发大量讨论,核心结论是,大模型本身没有原生安全边界、没有实时的环境感知能力,直接对接机械臂这类带物理作用力的硬件,很容易出现危险动作,网上流传的实验里就出现机械臂拿着菜刀悬停在人手上方、接到指令把手机丢进水里面的操作;大模型擅长理解文字指令,但它看不懂摄像头画面里的风险,也没法精准判断距离、力度、障碍物,只要指令理解偏差、感知延迟、规划出错,就会带来割伤、砸坏物品、伤人这类物理事故,这也是为什么现在工业、家用机器人都不会直接让大模型裸奔控制执行机构,必须叠加多层安全防护。

一、GPT 控制机械臂,为什么会出现危险动作

  1. 大模型是文本模型,没有原生空间感知。它只看懂文字,不会天然看懂画面里的人手、菜刀、水体,不知道这个动作会伤到人和损坏物品。
  2. 动作规划是间接生成。GPT 输出的是文本形式的动作步骤,再转成机械臂指令,中间翻译环节很容易出现理解偏差。
  3. 缺少实时安全闭环。工业机器人自带力控、碰撞检测、急停阈值,单纯 GPT 链路没有这套硬限制,就算快要碰到人,模型也不会自动停下。
  4. 指令歧义很难避免。人类一句话可以有多种解读,大模型会按字面意思执行,而不是理解背后的安全底线。
  5. 没有风险价值判断。模型不知道 “菜刀靠近手” 是高危行为,它只优先完成用户下达的任务目标。

二、不同控制方案对比表

方案安全等级适用场景主要短板
GPT 直接下发指令控制机械臂极低仅科研演示,严禁落地无碰撞检测、无力度限制,容易伤人毁物
GPT + 视觉感知 + 安全中间层中等实验室研究、非危险物件演示中间层算法有识别失误概率,高危工具依然不适合
工业机器人原生控制系统高工厂流水线灵活性弱,自然语言交互能力差
商用具身机器人(内置安全框架)中高家用轻交互、取放轻物品一般禁止操控刀具、尖锐重物

三、这类实验里典型危险行为清单

  • 机械臂夹持菜刀,悬停在人手上方,距离很近,一旦定位漂移就会划伤
  • 识别目标出错,抓取错误物体,把手机直接丢进水槽、水桶
  • 力度控制失控,抓取易碎物品时夹碎物品
  • 路径规划没有绕开人体,机械臂运动轨迹直接穿过人的肢体位置
  • 不会主动预判风险,没有自主停止机制,持续执行危险指令直到触发外部急停

四、想要安全做 GPT + 机械臂实验,必备防护步骤

  1. 隔离高危工具:刀具、尖锐件、重物、高温件,不接入这套大模型控制链路,只使用软质、轻质安全道具。
  2. 增加独立安全中间层:视觉识别人体、障碍物,一旦检测到人体进入危险区域,直接拦截动作指令,不交给机械臂执行。
  3. 开启硬件级安全:机械臂开启力反馈、碰撞检测,设置低力度阈值,碰到物体立刻停机;配备独立物理急停按钮。
  4. 降低运动速度:把机械臂移动速度降到很低,留出人工干预时间。
  5. 人员隔离:实验时人员不要处于机械臂运动范围内,最好在防护栏外操作。
  6. 指令过滤:设置关键词黑名单,刀具、伤害、破坏类指令直接拦截,不送入大模型。

五、行业里面的共识和限制

现在主流的具身智能研究,都不会采用 “大模型直连机械臂” 的裸奔方案。GPT 这类大模型更多是作为任务规划层,负责理解用户需求,而安全校验、路径避障、力控、风险判断交给专门的机器人控制系统。很多科研平台也明确提示,这类演示视频只用来展示能力边界,完全不代表可以投入真实家用、工业场景。

【常见问题】

问题 1:GPT 控制机械臂太危险!把菜刀悬在人手上,手机丢进水里,GPT 为什么会控制机械臂把菜刀悬在人手上方?

回答 1:GPT 控制机械臂太危险!把菜刀悬在人手上,手机丢进水里,GPT 是文本大模型,缺少空间感知和风险判断能力,只会按字面指令生成动作,没有识别 “菜刀靠近人手是危险行为” 的内置安全判断。

问题 2:GPT 控制机械臂太危险!把菜刀悬在人手上,手机丢进水里,能不能直接让 GPT 控制机械臂在家里面干活?

回答 2:GPT 控制机械臂太危险!把菜刀悬在人手上,手机丢进水里,不可以直接裸奔使用,缺少多层安全防护,很容易发生伤人、损坏物品事故,需要搭配视觉、力控、安全拦截中间层,并且避开高危工具。

问题 3:GPT 控制机械臂太危险!把菜刀悬在人手上,手机丢进水里,GPT 在机械臂系统里一般负责什么角色?

回答 3:GPT 控制机械臂太危险!把菜刀悬在人手上,手机丢进水里,GPT 一般只做上层任务理解、任务规划,真正的运动控制、避障、安全停机由机器人专用控制系统负责,不能直接直连执行机构。

问题 4:GPT 控制机械臂太危险!把菜刀悬在人手上,手机丢进水里,做 GPT 和机械臂实验,最低限度安全措施是什么?

回答 4:GPT 控制机械臂太危险!把菜刀悬在人手上,手机丢进水里,不能使用刀具等危险道具,开启碰撞检测、降低速度,配备独立急停,增加视觉人体检测拦截层,人员不要进入机械臂活动范围。

【参考资料】

[2026-11-16](GPT 控制机械臂演示:持刀悬手、丢手机入水,具身智能安全争议)机器之心

[2026-11-15](大模型直连机器人的安全风险研究报告)智东西

[2026-11-12](具身智能研发规范:大模型不能直接控制高危执行器)AI 科技评论

[2026-11-08](机械臂与大模型融合,安全中间层设计方案解析)36 氪

[2026-10-20](机器人安全标准:力控、碰撞检测、急停机制要求)IEEE Spectrum

【免责声明】

本文仅针对公开实验视频、具身智能安全方向做科普分析,相关危险操作属于科研演示,严禁自行复刻;大模型 + 机械臂方案风险极高,个人非专业环境下不要搭建、测试;本文内容不构成机器人开发指导,所有机器人实验需要遵守实验室安全规范,由专业人员在防护条件下开展。

今日大家都在搜的词: