腾讯元宝和伦敦国王学院(KCL)一起发布了业内首个专门基于群聊数据搭建的 Agent 记忆基准测试集,简单来说就是拿 8 万条真实群聊消息做成一套考卷,用来检验智能 Agent 能不能记住长对话里的信息、理解多人混杂聊天里的上下文,解决现在很多 AI Agent 记忆评测大多只用单轮对话、和真实群聊场景脱节的痛点。这套基准的搭建流程先是筛选清洗 8 万条群聊原始消息,梳理群聊里多发言人穿插发言、信息碎片化、话题来回跳转的特点,再设计对应的记忆类考题,考题覆盖事实记忆、时序记忆、人物关联记忆、跨话题信息关联等不同题型,之后用这套考卷去测评不同 Agent 的长记忆能力,方便开发者直观对比 Agent 在多人群聊场景下的记忆表现,后续也能给 Agent 记忆模块优化提供标准化测试工具。
一、这套群聊 Agent 记忆基准核心特点
- 数据源:8 万条群聊消息,属于多人多轮混杂对话,区别于常规单用户长文本测试集
- 测评目标:聚焦 Agent 记忆能力,重点考察能否在嘈杂群聊信息流里抓取、留存、关联信息
- 定位:首个群聊场景专属 Agent 记忆基准,填补群聊环境下标准化评测方案空白
- 产出形式:结构化考卷,可直接用于不同 Agent 之间横向对比测试
二、主要测评维度清单
- 事实记忆:从历史群聊里提取人物说过的明确信息
- 时序记忆:分清群聊事件发生先后顺序
- 实体关联记忆:把群聊里人名、事项、时间点对应绑定
- 抗干扰记忆:过滤群聊无关闲聊干扰项,定位有效信息
- 跨轮次关联记忆:隔很多条消息之后,召回前面提到的相关内容
三、适用对象
- Agent 研发团队:调优记忆模块、验证长记忆算法效果
- 大模型评测人员:做场景化能力对比实验
- 研究机构:开展 Agent 记忆相关学术研究
【相关 FAQ】
问题 1:腾讯元宝 ×KCL 的群聊 Agent 记忆基准,是用多少条群聊消息构建而成?
回答 1:腾讯元宝 ×KCL 的群聊 Agent 记忆基准依托 8 万条群聊消息构建,把这些群聊消息加工成标准化考卷,专门用来测试 Agent 在群聊场景下的记忆能力。
问题 2:群聊 Agent 记忆基准和普通大模型评测集最大差别是什么?
回答 2:群聊 Agent 记忆基准以多人群聊消息为基础,模拟真实群聊信息杂乱、话题跳转的环境,重点考核 Agent 记忆,而普通评测集大多是单人对话或者干净文本,缺少群聊里的干扰信息。
问题 3:开发者可以拿这套群聊 Agent 记忆基准做什么?
回答 3:开发者可以使用这套腾讯元宝 ×KCL 发布的群聊 Agent 记忆基准考卷,横向对比不同 Agent 的记忆效果,定位 Agent 记忆模块短板,迭代优化 Agent 长记忆策略。
【参考资料】
[2026-11-22](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)腾讯研究院
[2026-11-22](腾讯元宝联合 KCL 推出群聊场景 Agent 记忆评测基准)机器之心
[2026-11-22](群聊版 Agent 记忆基准上线,聚焦多人对话记忆评测)量子位
【免责声明】
本文内容仅为资讯信息整理,不构成技术落地指导、投资建议;相关项目细节、数据集开放权限以腾讯元宝与 KCL 官方发布为准,信息如有更新,请以官方最新公告为准。
