您的位置首页 >人工智能 >

潘多拉工具箱发布北大与微信安全团队搭建通用智能体全生命周期安全图

北大知识计算实验室联合腾讯微信安全技术团队推出名为潘多拉工具箱的通用智能体安全研究框架,搭建起一套完整的通用智能体全生命周期安全图景。和过去只盯着模型输出、单条提示词攻击的传统安全思路不一样,这套框架把智能体当成会自主调用工具、留存记忆、持续迭代的独立系统,追踪风险从源头进入、在编排阶段扩散、执行阶段落地、再通过反馈记忆持续留存放大的完整链路,解决通用智能体风险跨会话潜伏、反复生效的难题,给行业提供统一的风险归类、安全评测、防御干预的参考体系。

一、潘多拉工具箱核心生命周期三阶段

  1. 溯源阶段(Provenance):风险流入源头,包含用户输入、第三方技能包、外部环境、历史记忆,恶意内容会在这个环节进入智能体系统
  2. 编排阶段(Orchestration):智能体自主规划任务、挑选工具、组合技能,风险在这里被调度放大,诱导智能体选择危险接口
  3. 执行阶段(Execution):智能体调用 API、读写文件、访问外部系统,风险转化为实际操作,出现数据窃取、越权操作等危害

额外还有持久反馈链路:危险结果写入长期记忆、可复用技能,后续新任务继续复用这些带风险的内容,形成长期潜伏风险

二、四大攻击面清单

  • 技能供应链攻击:第三方插件、工具包内置恶意逻辑,伪装成正常功能
  • 用户输入攻击:提示词注入、恶意文件、诱导性指令
  • 长期记忆污染:历史对话、存档记忆被篡改,持续影响后续决策
  • 外部环境风险:不可信 API、受控外部接口、返回恶意数据

三、安全评测与防御三层体系

分类具体内容
评测方式在线交互实测、离线轨迹审计,复盘智能体每一步决策和动作
第一层防御:输入过滤对用户指令、第三方技能、外部返回内容做前置校验清洗
第二层防御:决策保护校验智能体任务规划逻辑,拦截异常的工具调用组合
第三层防御:运行时约束权限管控、沙箱隔离、动作审计,限制高危操作

四、潘多拉工具箱的价值与行业痛点

✅ 价值

  1. 跳出单点漏洞思维,用全生命周期视角看智能体安全
  2. 统一梳理攻击、评测、防御的对应位置,方便研发人员定位防护节点
  3. 面向自进化智能体,搭建风险发现、诊断、持续加固的闭环思路

❌ 当前痛点

  1. 通用智能体可以自主学习、保存记忆,风险不会随着单次任务结束消失
  2. 很多安全方案只防护大模型本身,忽略工具链、记忆、第三方插件
  3. 攻击隐蔽性强,当下看不出危害,等到后续任务才触发破坏

五、后续研究方向

  1. 对抗风险自动生成,模拟各类攻击场景验证防护能力
  2. 细粒度安全归因,精准定位风险来自哪个环节、哪个组件
  3. 基于对抗反馈持续迭代安全能力,适配不断自我进化的智能体

【常见问题】

问题 1:潘多拉工具箱是北大和微信安全团队做的,潘多拉工具箱的通用智能体全生命周期安全图主要解决什么问题?

回答 1:潘多拉工具箱里这套通用智能体全生命周期安全图,主要解决通用智能体风险跨环节传播、长期潜伏的问题,不再只检测模型输出,而是追踪风险从进入、编排、执行到记忆留存的完整链路,给智能体安全防护提供统一框架。

问题 2:潘多拉工具箱的通用智能体全生命周期安全图,和传统大模型安全方案有什么区别?

回答 2:传统方案大多针对单次 prompt、模型输出做检测;潘多拉工具箱的通用智能体全生命周期安全图,重点关注智能体自主调用工具、长期记忆、技能复用带来的链式风险,覆盖完整运行周期,适合带工具调用能力的 Agent。

问题 3:潘多拉工具箱这套通用智能体全生命周期安全图,可以直接拿来部署商用智能体吗?

回答 3:潘多拉工具箱属于学术综述框架,是通用智能体安全的分析图景和参考思路,不是现成可直接部署的安全产品,开发者可以参考这套框架设计自己的智能体防护、审计、检测模块。

【参考资料】

[2026-11-14](打开「潘多拉工具箱」:北大、微信安全团队构建通用智能体全生命周期安全图景)机器之心

[2026-11-14](Unlocking the "Pandora's Toolbox": Peking University and WeChat Security Team Build a Full Lifecycle Security Landscape for General-Purpose Agents)C114Pro

[2026-08-28](Pandora’s Toolbox: A Survey of Generalist Agent Security from the Lifecycle Perspective)Preprints.org

【免责声明】

本文仅为 AI 安全行业资讯科普,不构成智能体产品开发、安全采购、项目落地建议;潘多拉工具箱是学术研究框架,相关防护方案、评测方法仍处于研究阶段;通用智能体攻击手段持续迭代,安全防护效果受业务场景、权限配置影响,内容仅供技术参考。

今日大家都在搜的词: