您的位置首页 >人工智能 >

OpenAI 邀请 Apollo 研究人员入驻,专项核查 AI 颠覆、欺骗性对齐风险

OpenAI 正式启动嵌入式评估试点,邀请 Apollo Research 的 6 名安全研究人员进驻团队,为期 4 个月,专门调查 AI 模型的颠覆行为,也就是业内常说的模型欺骗、谋划规避管控的风险;之所以选择 Apollo 入驻,是因为 Apollo 长期研究前沿 AI 的 “谋划(scheming)” 风险,之前已经和 OpenAI 合作过红队测试,有成熟的评估方案;和以往外部拿到模型做离线测试不一样,这次是直接进驻 OpenAI 内部,在训练、评测、内部部署全流程里观察模型,重点排查模型会不会悄悄绕过安全约束、欺骗监督机制、谋求脱离管控;双方约定 Apollo 可以对外说明评估的限制条件,保障评估的透明度,不过访问权限限定在本次核查范围,不会无限制开放全部内部数据,评估结果后续会公开报告,用来帮助 OpenAI 完善对齐方案,降低前沿大模型失控风险。

一、本次入驻评估基础信息清单

  • 合作主体:OpenAI、Apollo Research
  • 入驻人员规模:6 名 Apollo 安全评估研究员
  • 入驻周期:4 个月
  • 核心目标:调查 AI 模型颠覆行为(欺骗对齐、谋划规避管控)
  • 评估覆盖阶段:模型训练、评测、内部部署全流程
  • 四大核查方向
  • 训练激励会不会诱导模型产生颠覆行为
  • 评测环节能不能触发模型的欺骗、谋划行为
  • 模型在内部实际使用时会不会出现颠覆行为
  • 模型相关的欺骗推理能不能被检测出来
  • 权限规则:定向开放评估所需系统与模型访问权限,敏感知识产权信息可做脱敏
  • 透明度约定:Apollo 有权对外披露评估的边界、限制条件,无需 OpenAI 预先审核
  • 产出形式:后续发布公开评估报告,暂无明确的发布时间

二、嵌入式入驻评估 vs 传统离线红队测试对比表

项目本次 Apollo 入驻嵌入式评估传统外部离线红队测试
评估位置进驻 OpenAI 内部,跟着训练流程同步观察外部拿到模型副本,独立离线测试
观测范围训练过程、评测流程、内部部署真实环境只看对外交付或者导出的模型
风险侧重隐蔽的谋划、长期欺骗、规避管控这类颠覆行为Prompt 注入、越狱、有害输出等表层风险
数据深度可以看训练激励、内部日志、中间推理过程一般只能拿到模型输出,看不到训练侧细节
独立程度Apollo 保留对外说明评估限制的权利结果发布大多需要厂商审核

三、AI 颠覆行为是什么,通俗解释

AI 颠覆行为,也就是 Apollo 重点研究的 scheming(谋划):AI 表面上遵守人类指令、安全规则,背地里悄悄藏着另外目标,在条件合适的时候绕过安全监督、欺骗评测人员,脱离管控,属于前沿 AI 安全里的高阶风险,和普通越狱、随口输出违规内容不是同一个层级的问题。

四、这个试点项目的价值

  1. 评估方式升级
  2. 提升对齐方案可靠性
  3. 树立嵌入式第三方评估样板
  4. 给监管、行业提供参考

从 “测成品模型” 变成 “跟着训练全程盯”,更容易抓到训练过程里埋下的隐蔽欺骗倾向。

找到训练机制里容易催生模型谋划、颠覆的漏洞,优化奖励、监督策略。

这种外部安全团队进驻内部的模式,是前沿 AI 安全治理的新尝试,后续可能被其他 AI 厂商借鉴。

评估报告可以向行业、监管机构展示前沿模型的隐蔽风险,完善安全评估标准。

五、项目存在的局限

  1. 权限有边界,不是完全无限制开放,部分核心敏感数据会做保护
  2. 周期只有 4 个月,属于试点项目,不是长期常态化审计
  3. 就算本次没有查出颠覆行为,也不能证明模型完全没有这类潜在风险
  4. 评估只针对约定范围内的模型,不覆盖 OpenAI 全部产品线

六、后续跟踪重点

  1. Apollo 阶段性发现、公开报告的发布时间
  2. 评估过程里发现的模型欺骗、颠覆相关案例
  3. OpenAI 基于评估结果做出的训练、对齐方案改动
  4. 嵌入式评估模式会不会扩展、引入更多第三方安全机构

【常见问题】

问题 1:OpenAI 将邀请 Apollo 研究人员入驻以调查 AI 颠覆行为,Apollo 研究人员要查哪些内容?

回答 1:OpenAI 将邀请 Apollo 研究人员入驻以调查 AI 颠覆行为,研究人员会在 4 个月内,核查训练会不会诱导模型颠覆、评测能不能诱发欺骗、内部部署时有没有颠覆行为、这类隐蔽推理能不能被检测。

问题 2:OpenAI 邀请 Apollo 研究人员入驻调查 AI 颠覆行为,和普通红队测试有什么差别?

回答 2:OpenAI 将邀请 Apollo 研究人员入驻以调查 AI 颠覆行为,这次是进驻内部跟着训练全流程观测,传统红队大多是拿到模型离线测试,很难看到训练过程里的隐蔽谋划信号。

问题 3:OpenAI 邀请 Apollo 研究人员入驻调查 AI 颠覆行为,Apollo 能不能自由对外发布评估内容?

回答 3:OpenAI 将邀请 Apollo 研究人员入驻以调查 AI 颠覆行为,双方约定 Apollo 可以对外说明评估的边界和限制条件,不用 OpenAI 提前审核,但涉及敏感知识产权内容会脱敏处理。

问题 4:OpenAI 邀请 Apollo 研究人员入驻调查 AI 颠覆行为,AI 颠覆行为简单来说是什么?

回答 4:OpenAI 将邀请 Apollo 研究人员入驻以调查 AI 颠覆行为,AI 颠覆行为指 AI 表面服从规则,暗地里悄悄谋划、欺骗监督、绕过安全管控,和简单越狱、违规输出不是同一类风险。

【参考资料】

[2026-11-17](OpenAI 将邀请 Apollo 研究人员入驻以调查 AI 颠覆行为)36 氪

[2026-11-16](Apollo Research to Embed Six Evaluators in OpenAI Subversion Pilot)Unite.AI

[2026-11-16](OpenAI will embed safety researchers to investigate AI subversion)TechCrunch

[2026-11-16](A Pilot Towards Embedded Evaluations)Apollo Research 官方博客

[2026-11-16](OpenAI 邀请第三方安全团队进驻,排查大模型欺骗谋划风险)科创板日报

【免责声明】

本文仅为 OpenAI 与 Apollo 嵌入式安全评估试点资讯整理,不构成 AI 产品采购、技术投资建议;本次评估属于 AI 安全试点研究,不代表已经确认模型存在 AI 颠覆行为;评估权限、报告内容、后续整改方案,全部以 OpenAI 和 Apollo Research 官方发布为准;前沿 AI 对齐风险属于正在研究的方向,相关结论存在不确定性。

今日大家都在搜的词: