腾讯元宝和伦敦国王学院(KCL)NLP 团队一起发布了 GroupAssistBench,这是业内首个基于真实群聊数据搭建的 Agent 记忆基准数据集,核心目的就是测试 AI 智能体在多人群聊场景下,能不能把历史消息里的记忆用对,而不只是简单把信息检索出来。很多现有的 Agent 记忆评测大多是单人对话场景,群聊环境更复杂,同一个群里有多个人的诉求、临时提议、最终决议混在一起,AI 很容易找错信息、混淆不同人的需求。这套基准拿 50 份真实群聊、合计 80299 条原始消息,人工整理出 2395 道评测考题,分成两层难度做考核,用来对比完整上下文、检索增强、外部记忆等不同记忆方案的真实表现。团队做完 14 组方案对照实验后发现一个关键点:有些记忆方案在单纯召回信息的简单题目里分数很高,但放到需要结合群内多方信息做服务决策的开放式考题里,表现反而不如直接喂完整上下文,说明 “会记住” 和 “会合理使用记忆” 完全是两码事。目前对应的论文已经上传 arXiv,配套的数据集和代码也已经对外开源,开发者可以直接拿这套基准去测试、优化自己的群聊 Agent 记忆能力。
一、GroupAssistBench 基础信息清单
| 项目 | 详情 |
|---|---|
| 基准名称 | GroupAssistBench |
| 合作主体 | 腾讯元宝、伦敦国王学院 KCL NLP 团队 |
| 原始数据源 | 50 个真实群聊,80299 条群聊消息 |
| 评测题目总量 | 2395 道 |
| 评测层级 | L1 记忆召回、L2 开放式群聊服务 |
| 实验对比方案数量 | 14 组(完整上下文、检索增强、外部记忆等) |
| 公开资源 | arXiv 论文、数据集、代码开源 |
二、两层评测任务说明
- L1 记忆召回层
- L2 开放式服务层
偏向基础能力,考察 Agent 能不能从海量群聊历史里,精准找到对应事实信息,比如某个人提过的预算、出行偏好等。像 EverMemOS 在这个层级得分 0.621,高于同等模型完整上下文方案的 0.570,单纯找信息的能力更强。
偏向真实落地能力,考察 Agent 区分提议和最终决定、区分不同群成员诉求、综合多条记忆给出合理方案。EverMemOS 在这里得分只有 0.247,低于完整上下文方案 0.431,暴露了很多记忆框架 “检索强、推理使用弱” 的短板。
三、这个基准和其他 Agent 记忆评测的差别
- 场景差异:主流基准大多是单人对话,GroupAssistBench 聚焦多人协作群聊,信息归属更复杂;
- 考核重点:不只看能不能找回记忆,重点考核 Agent 判断 “这条记忆属于谁、能不能用、该不该采纳”;
- 数据来源:全部来自真实群聊,不是人工编造对话,更贴近日常团队群、活动群的真实沟通情况;
- 开放属性:数据集、代码开源,方便行业统一对比不同 Agent 记忆方案的效果。
【相关 FAQ】
问题 1:GroupAssistBench 这个基于群聊构建的 Agent 记忆基准,一共用了多少群聊消息来制作考卷?
回答 1:这个腾讯元宝联合 KCL 推出、基于群聊构建的 Agent 记忆基准 GroupAssistBench,一共使用了 50 个真实群聊内的 80299 条群聊消息,整理生成 2395 道评测考题。
问题 2:基于群聊构建的 Agent 记忆基准 GroupAssistBench 分为哪两层评测,两层考察重点有什么不一样?
回答 2:基于群聊构建的 Agent 记忆基准 GroupAssistBench 分为 L1 记忆召回、L2 开放式服务两层,L1 重点测试 Agent 能不能检索出群聊里对应的事实记忆,L2 重点测试 Agent 能不能分辨群里不同人的需求、区分提议和已定事项,合理运用记忆给出群服务方案。
问题 3:开发者怎么使用这套腾讯元宝和 KCL 发布的基于群聊构建的 Agent 记忆基准?
回答 3:这套基于群聊构建的 Agent 记忆基准已经公开 arXiv 论文,配套数据集和代码同步开源,开发者可以下载数据集,用 2395 道考题测试自家 Agent 记忆方案,横向对比检索增强、外部记忆等不同架构在群聊场景的表现。
【参考资料】
[2026-11-21](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)腾讯新闻(量子位)
【免责声明】
本文内容仅为行业资讯整理,不构成技术落地指导、投资建议;相关基准数据集、实验数据以 arXiv 论文及官方开源仓库最新版本为准,性能测试结果仅为该实验环境下的对照结论,不代表所有场景下的表现。
