您的位置首页 >科技要闻 >

8万条群聊消息做成考卷腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准

腾讯元宝与伦敦国王学院(KCL)联合发布了 GroupMemBench,这是业内首个基于真实多人群聊消息打造的 Agent 记忆评测基准,数据集依托 8 万条群聊对话素材加工生成,配套大量标准化考题,专门用来测试 AI 智能体在多人群组聊天场景下的记忆、信息追踪、多跳推理能力,填补了过去评测大多只针对一对一对话、缺少多人群聊场景的空白,开发者可以用这套考卷统一对比不同 Agent 记忆方案的召回准确率、时序理解、歧义分辨能力,方便横向验证记忆框架、大模型的实际表现。

市面上已有的 Agent 记忆基准大多是一对一单轮对话、单人用户的设定,和微信群、项目协作群这种多人持续聊天场景差距很大;群聊里面有多个人发言、信息会更新、说法会有矛盾、同一个词在不同语境含义不一样,还需要区分是谁说的、什么时候说的,对 Agent 记忆的要求远高于一对一对话。GroupMemBench 直接从多人群聊这个真实场景出发,把 8 万条原始群聊消息处理成可控的对话样本,再自动生成评测考题,重点考察智能体能不能区分发言者、跟上信息变化、识别歧义内容、做跨消息多跳推理,而不是简单把历史对话塞进上下文窗口。

使用这套基准的时候,开发者可以直接拿它对各类记忆框架、大模型做标准化测试,拿到可对比的指标,后续也可以基于它继续优化 Agent 记忆的分层召回、事实校验逻辑,让 AI 在群聊协作场景记住关键信息、减少信息混淆。

GroupMemBench 基准核心信息清单

  • 合作方:腾讯元宝、伦敦国王学院 KCL
  • 原始素材规模:8 万条多人群聊消息
  • 定位:首个面向多人群组对话的 Agent 记忆评测基准
  • 评测题型生成方式:对抗式查询流水线,自动生成难题
  • 六大评测维度:多跳推理、知识更新、术语歧义、用户隐式推理、时序推理、拒绝作答
  • 核心难点:追踪不同发言者的观点、区分信息时效性、处理多人对话里的冲突信息
  • 价值:统一衡量 Agent 在群聊场景记忆能力,横向对比 Mem0、Hy-Memory 等记忆方案

传统记忆基准和 GroupMemBench 对比表

项目传统一对一 Agent 记忆基准GroupMemBench(群聊 Agent 记忆基准)
对话形式单用户和 AI 一对一对话多人群组对话,多发言者交替发言
信息特点信息相对稳定,很少出现观点更新、矛盾信息会迭代、存在歧义、不同人说法不一样
记忆考核重点记住用户偏好、单轮对话信息绑定发言者、时间线、分辨歧义、多消息联合推理
原始素材单人对话、人工构造对话8 万条真实群聊消息加工
适配场景个人一对一助手项目群、社群、团队协作群聊 Agent

开发者使用流程

  1. 拿到 GroupMemBench 数据集与考题,把待测 Agent 记忆系统接入评测脚本
  2. 输入群聊上下文,让 Agent 回答基准里面的标准化考题
  3. 统计各个分类下的准确率,重点看知识更新、歧义识别这类低分难点
  4. 对照指标定位记忆框架缺陷,优化召回、摘要、事实校验逻辑
  5. 同一份考题在不同模型、记忆方案上复测,形成横向对比结果

评测发现的关键结论

  • 现有主流记忆方案在这个群聊基准上整体准确率偏低,最强方案平均准确率仅 46.0%
  • 知识更新、术语歧义两类题目难度最高,是当前 Agent 记忆最容易出错的环节
  • 单纯拉长上下文窗口不能解决群聊记忆问题,依然容易混淆发言人和过时信息
  • 想要做好群聊 Agent 记忆,需要把身份、时间、语义一起纳入记忆检索,而不只是文本相似度检索

【相关 FAQ】

问题 1:腾讯元宝和 KCL 联合发布的基于 8 万条群聊消息的 Agent 记忆基准叫什么?

回答 1:腾讯元宝联合 KCL 推出的基于 8 万条群聊消息构建的 Agent 记忆基准名称为 GroupMemBench,是业内首个面向多人群聊场景的 Agent 记忆评测基准。

问题 2:这套 8 万条群聊消息构建的 Agent 记忆基准,和普通 Agent 记忆评测集差别在哪?

回答 2:普通 Agent 记忆评测集大多是一对一对话场景,这套基于 8 万条群聊消息的 Agent 记忆基准聚焦多人群组聊天,专门测试 AI 区分发言者、跟踪信息变更、识别歧义的能力,更贴近真实团队群聊场景。

问题 3:开发者怎么使用腾讯元宝 ×KCL 这个基于 8 万条群聊消息的 Agent 记忆基准?

回答 3:开发者可以加载 GroupMemBench 数据集和配套考题,把自研 Agent 记忆系统接入评测脚本,在统一考题下测试、统计准确率,横向对比不同记忆框架和大模型的群聊记忆效果。

问题 4:GroupMemBench 这个基于 8 万条群聊消息的 Agent 记忆基准,主要测哪几类能力?

回答 4:腾讯元宝与 KCL 的 GroupMemBench 基准,主要测试多跳推理、知识更新、术语歧义、用户隐式推理、时序推理、拒绝作答六大类 Agent 记忆能力。

【参考资料】

[2026-05-14](GroupMemBench:Benchmarking LLM Agent Memory in Multi-Party Conversations)arXiv

[2026-05-15](腾讯元宝联合 KCL 发布 GroupMemBench,首个群聊 Agent 记忆基准)机器之心

[2026-05-16](8 万条群聊对话打造评测考卷,多人场景 Agent 记忆迎来专用基准)36 氪

[2026-05-17](GroupMemBench 解读:为什么群聊记忆比一对一对话更难)AI 前线

【免责声明】

本文为腾讯元宝与 KCL 联合发布 GroupMemBench 基准相关资讯整理,基准数据集、评测脚本、指标定义请以 arXiv 论文及项目官方开源仓库为准;基准测试结果仅代表该评测集下的表现,不代表模型在全部业务场景的最终效果。

今日大家都在搜的词: