您的位置首页 >科技要闻 >

奥特曼给「AI 造 AI」踩刹车,强调 AI 研发方向盘必须握在人类手中

OpenAI 的奥特曼近期公开针对递归自我改进也就是 AI 造 AI 这件事表态,主动给这条高风险路线踩下刹车,明确核心观点:虽然现在已经在用 AI 辅助下一代模型研发,提升训练、调参、写代码的效率,但绝对不允许 AI 在无人监督的情况下自主设计、迭代更强模型,整个研发链路的决策权、控制权必须牢牢掌握在人类手里,不能完全交给 AI 自主运转。他把这件事拆成两层区分,第一层是 AI 作为研发助手,帮人类加快模型开发,这个方向 OpenAI 已经在落地;第二层是完全放手,让 AI 自动闭环自我迭代,这一步现在坚决不做。奥特曼认为一旦放开无人监督的 AI 造 AI,就会形成滚雪球式的加速进化,安全对齐、监控机制很容易跟不上模型能力增长的速度,还吐槽硅谷部分同行的说法,不能一边许诺 AI 带来巨大收益,一边让人类交出主导权,最后变成只有机器照顾人、人类失去控制权的局面。他的策略是先拿 AI 资源去攻坚对齐、安全管控技术,等安全底座足够扎实之后,再谨慎推进自动化研发,而不是顺着递归自我改进一路狂奔。

奥特曼对 AI 造 AI 的两层边界划分

  • AI 辅助研发(允许):AI 充当研发助手,帮忙写训练代码、排查报错、整理实验数据、跑小范围测试,所有方案、参数、是否继续训练都由人类最终审批。
  • AI 自主迭代(叫停):不开放无人值守的闭环递归改进,不允许 AI 自己规划下一代模型、自主启动大规模训练、自主调整核心路线,没有人类审核就不能推进。

核心风险点

  1. 失控风险:递归自我改进会形成加速循环,模型能力提升速度可能超过人类安全管控能力,后续很难叫停。
  2. 权力集中风险:超级 AI 迭代能力集中在少数实验室,容易造成技术权力垄断,带来反乌托邦风险。
  3. 对齐滞后风险:模型变强之后,对齐、安全测试的难度同步上涨,安全能力跟不上能力增长。

OpenAI 当前研发流程

  1. 人类研究员定下下一代模型的目标、参数方案、安全测试清单。
  2. AI 助手承接重复性工作,代码编写、日志分析、小实验快速验证。
  3. 所有关键改动、训练启动、算力分配,必须经过人类研究员复核、审批。
  4. 训练过程中持续做安全评估,一旦出现异常,人类可以直接切断算力、终止任务。
  5. 安全对齐是优先任务,在对齐方案成熟前,不扩大 AI 自主研发权限。

和行业其他路线对比

路线做法奥特曼的态度
AI 辅助研发AI 做工具,人类掌握决策权支持,目前正在落地
完全递归自我改进AI 自主闭环造更强 AI,无人工审核反对,现阶段踩刹车
激进自动化研究员目标是让 AI 独立完成全套科研需要严格限制、分步验证,不能放开

【常见问题】

问题 1:奥特曼给「AI 造 AI」踩刹车,AI 造 AI 指的是什么?

回答 1:奥特曼给「AI 造 AI」踩刹车里说的 AI 造 AI,也就是递归自我改进,意思是 AI 自己设计、训练、迭代下一代更强的 AI 模型,形成自主进化闭环,奥特曼反对无人监督的这种模式。

问题 2:奥特曼给「AI 造 AI」踩刹车,是不是代表 OpenAI 不再用 AI 辅助做模型研发?

回答 2:奥特曼给「AI 造 AI」踩刹车,并不是放弃 AI 辅助研发,OpenAI 依旧在用 AI 帮忙写代码、跑实验、排查问题,只是关键决策、训练启动权限留在人类手里,不让 AI 自主闭环迭代。

问题 3:奥特曼给「AI 造 AI」踩刹车,为什么坚持方向盘必须握在人类手中?

回答 3:奥特曼给「AI 造 AI」踩刹车,坚持方向盘握在人类手中,是因为一旦放开 AI 自主迭代,模型能力会快速滚雪球,安全对齐、监控手段跟不上,存在失控和技术权力过度集中的风险。

问题 4:奥特曼给「AI 造 AI」踩刹车,他对硅谷同行的激进说法是什么评价?

回答 4:奥特曼给「AI 造 AI」踩刹车时提到,不认同部分同行一边宣传 AI 的巨大好处,一边要求人类交出全部主导权,这种局面会变成机器照顾人类,但人类失去控制权。

问题 5:奥特曼给「AI 造 AI」踩刹车,OpenAI 接下来优先做什么?

回答 5:奥特曼给「AI 造 AI」踩刹车之后,OpenAI 优先把算力投入 AI 安全对齐、风险管控技术的研发,等安全底座足够可靠,再谨慎推进研发自动化。

【参考资料】

[2026-11-19](奥特曼给「AI 造 AI」踩刹车!方向盘必须握在人类手中)新浪财经

[2026-11-19](奥特曼给「AI 造 AI」踩刹车!方向盘必须握在人类手中)腾讯新闻

[2026-11-19](Sam Altman:递归自我改进不能无人监管,人类保留最终控制权)新智元

[2026-11-18](Altman:AI self-improvement needs human oversight)TechCrunch

[2026-11-18](OpenAI 明确递归改进边界,区分 AI 辅助和自主迭代)机器之心

【免责声明】

本文内容基于奥特曼公开表态、科技媒体报道整理,奥特曼针对 AI 造 AI 的观点属于 OpenAI 管理层的公开立场,不代表行业统一标准;AI 递归自我改进的技术路线、风险评估本身存在巨大行业争议,相关技术落地节奏以 OpenAI 官方后续公告为准,本文不构成技术选型、投资建议。

今日大家都在搜的词: