您的位置首页 >科技要闻 >

OpenAI 上线儿童性虐待内容检测工具,强化儿童网络安全防护

OpenAI 正式对外发布全新的儿童性虐待内容(CSAM)检测工具,核心是一款图像分类器,专门识别这类违规内容,就连 AI 生成的同类有害图像也能识别,这套工具只对经过审核的机构开放,免费通过 API 调用,同时 ChatGPT 配套新增拦截警告机制,用来及时阻断有害请求、约束违规用户,还可以给执法机构的调查取证提供支撑,是针对 AI 时代新型有害内容风险推出的防护方案,解决过去传统哈希匹配很难识别全新、AI 生成有害图片的短板。

检测工具核心能力与效果

项目详情
核心产品CSAM 图像分类器
识别范围真实拍摄、AI 生成的儿童性虐待相关图像
核心能力捕捉图像内有害视觉特征,识别从未见过的新样本,输出风险评分,方便审核人员优先处理高风险内容
误识别优化相比原有方案,误标记图像数量减少 48%,标记内容里真实有害内容的检出概率提升一倍
开放方式API 接口,仅限审核通过的机构免费接入
合作机构美国国家失踪与受剥削儿童中心 NCMEC、Tech Coalition、ROOST 等儿童安全组织

ChatGPT 配套拦截规则

  1. 用户发起寻找、生成儿童性虐待素材相关请求时,系统直接中断操作,弹出警示,告知行为法律后果,同时推送帮扶资源。
  2. 首次触发这类违规请求,账号临时停用 24 小时作为警告。
  3. 多次反复违规,账号会被永久封禁。
  4. 相关违规记录会按规范上报给儿童安全机构,配合后续处置。

整套防护体系的补充作用

  1. 和传统哈希库搭配使用:哈希库擅长识别已经备案的已知有害图片,新分类器重点抓全新样本、AI 生成样本,两者互补。
  2. 面向平台审核团队:降低人工审核压力,减少无效复核,提升审核效率。
  3. 面向执法机构:提供标准化识别能力,辅助案件线索排查。
  4. 面向行业伙伴:给其他企业提供安全能力,帮助更多平台补齐儿童内容防护短板。

行业背景小结

随着 AI 绘图工具普及,不法分子可以直接生成新型有害图像,传统比对黑名单的防护方式越来越不够用,OpenAI 这套新检测工具,重点补齐 AI 生成有害内容的识别缺口,不过它只是辅助审核工具,最终判定依然需要人工复核,不能完全替代人工审核与执法流程。

【常见问题】

问题 1:OpenAI 推出儿童性虐待内容检测工具,普通个人用户可以直接使用吗?

回答 1:OpenAI 推出儿童性虐待内容检测工具,该工具仅面向经过审核的机构开放,通过 API 调用,普通个人用户无法直接申请使用。

问题 2:OpenAI 推出儿童性虐待内容检测工具,能不能识别 AI 生成的有害图片?

回答 2:OpenAI 推出儿童性虐待内容检测工具,这款图像分类器支持识别 AI 生成的儿童性虐待内容,也是这套工具的重点优势之一。

问题 3:OpenAI 推出儿童性虐待内容检测工具,ChatGPT 里违规请求会有什么处罚?

回答 3:OpenAI 推出儿童性虐待内容检测工具,配套规则里首次发起相关有害请求会临时停用账号 24 小时,多次违规账号会被永久封禁。

问题 4:OpenAI 推出儿童性虐待内容检测工具,它和原来的哈希比对有什么区别?

回答 4:OpenAI 推出儿童性虐待内容检测工具,哈希比对只能识别已经入库的已知有害图片,这款新分类器可以识别没有备案的新图片、AI 生成图片,二者搭配使用。

【参考资料】

[2026-11-17](OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护)IT 之家

[2026-11-17](OpenAI 发布免费图像分类器 识别儿童虐待材料)腾讯新闻

[2026-11-16](OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM)TechCrunch

[2026-11-16](Strengthening the fight against online child sexual abuse with new tools and support)OpenAI 官方博客

【免责声明】

以上内容为 OpenAI 公开安全公告整理,仅作为行业安全信息科普,不代表工具可以独立完成司法定性,所有有害内容最终判定需要人工审核和执法部门认定。本内容不构成技术采购、产品接入的相关建议。

今日大家都在搜的词: