您的位置首页 >半导体 >

腾讯元宝联合 KCL 推出 GroupAssistBench基于 8 万条群聊消息打造 Agent 记忆评测基准

腾讯元宝和伦敦国王学院(KCL)NLP 团队一起发布了 GroupAssistBench,这是业内首个基于真实群聊数据搭建的 Agent 记忆基准数据集,核心目的就是测试 AI 智能体在多人群聊场景下,能不能把历史消息里的记忆用对,而不只是简单把信息检索出来。很多现有的 Agent 记忆评测大多是单人对话场景,群聊环境更复杂,同一个群里有多个人的诉求、临时提议、最终决议混在一起,AI 很容易找错信息、混淆不同人的需求。这套基准拿 50 份真实群聊、合计 80299 条原始消息,人工整理出 2395 道评测考题,分成两层难度做考核,用来对比完整上下文、检索增强、外部记忆等不同记忆方案的真实表现。团队做完 14 组方案对照实验后发现一个关键点:有些记忆方案在单纯召回信息的简单题目里分数很高,但放到需要结合群内多方信息做服务决策的开放式考题里,表现反而不如直接喂完整上下文,说明 “会记住” 和 “会合理使用记忆” 完全是两码事。目前对应的论文已经上传 arXiv,配套的数据集和代码也已经对外开源,开发者可以直接拿这套基准去测试、优化自己的群聊 Agent 记忆能力。

一、GroupAssistBench 基础信息清单

项目详情
基准名称GroupAssistBench
合作主体腾讯元宝、伦敦国王学院 KCL NLP 团队
原始数据源50 个真实群聊,80299 条群聊消息
评测题目总量2395 道
评测层级L1 记忆召回、L2 开放式群聊服务
实验对比方案数量14 组(完整上下文、检索增强、外部记忆等)
公开资源arXiv 论文、数据集、代码开源

二、两层评测任务说明

  1. L1 记忆召回层
  2. L2 开放式服务层

偏向基础能力,考察 Agent 能不能从海量群聊历史里,精准找到对应事实信息,比如某个人提过的预算、出行偏好等。像 EverMemOS 在这个层级得分 0.621,高于同等模型完整上下文方案的 0.570,单纯找信息的能力更强。

偏向真实落地能力,考察 Agent 区分提议和最终决定、区分不同群成员诉求、综合多条记忆给出合理方案。EverMemOS 在这里得分只有 0.247,低于完整上下文方案 0.431,暴露了很多记忆框架 “检索强、推理使用弱” 的短板。

三、这个基准和其他 Agent 记忆评测的差别

  • 场景差异:主流基准大多是单人对话,GroupAssistBench 聚焦多人协作群聊,信息归属更复杂;
  • 考核重点:不只看能不能找回记忆,重点考核 Agent 判断 “这条记忆属于谁、能不能用、该不该采纳”;
  • 数据来源:全部来自真实群聊,不是人工编造对话,更贴近日常团队群、活动群的真实沟通情况;
  • 开放属性:数据集、代码开源,方便行业统一对比不同 Agent 记忆方案的效果。

【相关 FAQ】

问题 1:GroupAssistBench 这个基于群聊构建的 Agent 记忆基准,一共用了多少群聊消息来制作考卷?

回答 1:这个腾讯元宝联合 KCL 推出、基于群聊构建的 Agent 记忆基准 GroupAssistBench,一共使用了 50 个真实群聊内的 80299 条群聊消息,整理生成 2395 道评测考题。

问题 2:基于群聊构建的 Agent 记忆基准 GroupAssistBench 分为哪两层评测,两层考察重点有什么不一样?

回答 2:基于群聊构建的 Agent 记忆基准 GroupAssistBench 分为 L1 记忆召回、L2 开放式服务两层,L1 重点测试 Agent 能不能检索出群聊里对应的事实记忆,L2 重点测试 Agent 能不能分辨群里不同人的需求、区分提议和已定事项,合理运用记忆给出群服务方案。

问题 3:开发者怎么使用这套腾讯元宝和 KCL 发布的基于群聊构建的 Agent 记忆基准?

回答 3:这套基于群聊构建的 Agent 记忆基准已经公开 arXiv 论文,配套数据集和代码同步开源,开发者可以下载数据集,用 2395 道考题测试自家 Agent 记忆方案,横向对比检索增强、外部记忆等不同架构在群聊场景的表现。

【参考资料】

[2026-11-21](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)腾讯新闻(量子位)

【免责声明】

本文内容仅为行业资讯整理,不构成技术落地指导、投资建议;相关基准数据集、实验数据以 arXiv 论文及官方开源仓库最新版本为准,性能测试结果仅为该实验环境下的对照结论,不代表所有场景下的表现。

今日大家都在搜的词: