核心结论：数据协作平台 Deepnote 于 2026 年 11 月 13 日发布 Agent Initiative Benchmark，把 12 个前沿模型丢进一家虚构公司的 Slack 群当 "AI 同事"，让它们自己判断何时出手帮忙、何时闭嘴；结果 OpenAI 的 GPT-6 Astra 以 8.97 分居首、GPT-6.1 Sol 以 8.65 分第二，Anthropic 的 Claude Fable 5.2 仅第三（8.17 分），单任务成本却是 Sol 的 17 倍（1.87 美元 vs 0.11 美元），"贵 17 倍还输了"。原因是这类评测不再比谁更聪明，而是比主动型同事的判断力：该帮时帮得上、不该帮时闭得住、账单算得过来；最贵的三个模型反而排在三、四、五名。测试方法是建一家有 6 年历史、71 名员工、11 套业务系统的虚构公司 PageMantle，用 50 个真实职场任务、两个盲评模型打分，结果开源。下面把评测设计、排名表和关键发现拆开讲。
一、评测怎么设计的
- 测试场地：虚构公司 PageMantle，6 年运营历史、71 名员工、约 10GB 数据，打通 Slack、Notion、Linear、HubSpot、Stripe、PostHog、BigQuery、Snowflake 等 11 套服务，连 SVB 倒闭、竞品发新功能等真实事件都编进了时间线。
- AI 的角色：潜伏在 Slack 旁听全部对话，可选择四种动作 —— 回复频道、回复线程、私信当事人、什么都不做；第四种 "沉默" 恰是最难的。
- 任务规模：50 个真实职场任务，覆盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全共 8 类；其中埋了 10 个 "不该帮忙" 的场景。
- 规则一致：同一套指令、工具、公司快照，高推理强度，单次任务 180 秒预算；两个盲评 LLM 按 "是否出手 / 沉默、内容证据、清晰语气、受众与位置" 四个维度打 0—10 分，共 600 次完整运行，数据集与代码全部开源。
二、完整排名表（得分 / 单任务成本 / 平均耗时 / 工具调用 / 沉默次数）
| 排名 | 模型 | 得分（满分 10） | 单任务成本 | 平均耗时 | 工具调用 | 该沉默忍住 |
|---|---|---|---|---|---|---|
| 1 | GPT-6 Astra | 8.97 | $0.693 | 54s | 19.3 | 8/10 |
| 2 | GPT-6.1 Sol | 8.65 | $0.112 | 54s | 18.0 | 8/10 |
| 3 | Claude Fable 5.2 | 8.17 | $1.87 | 60s | 20.9 | 6/10 |
| 4 | Claude Opus 5.5 | 7.84 | $1.28 | 29s | 10.0 | 8/10 |
| 5 | Claude Fable 5.1 | 7.50 | $3.02 | 51s | 14.5 | 6/10 |
| 6 | Claude Sonnet 5.5 | 6.65 | $0.420 | 15s | 8.9 | 6/10 |
| 7 | GPT-6 Luna | 6.38 | $0.0070 | 50s | 13.7 | 4/10 |
| 8 | DeepSeek V4.1 Flash | 6.35 | $0.026 | 86s | 21.1 | 4/10 |
| 9 | Mistral Large 4 | 6.09 | $0.082 | 85s | 22.5 | 4/10 |
| 10 | Claude Haiku 5.5 | 6.05 | $0.075 | 28s | 12.1 | 5/10 |
| 11 | Gemini 4 Argon | 5.60 | $0.403 | 164s | 34.5 | 10/10 |
| 12 | Grok 4.7 | 4.51 | $0.425 | 145s | 35.5 | 6/10 |
补充：Sol 与 Astra 得分差 0.32，95% 置信区间重叠，统计上难分高下；但 Sol 成本只有 Astra 的约六分之一，是 "96% 性能、六分之一价格"。
三、四个关键发现
1. 贵不等于强
三个最贵的模型只拿到第三、四、五名。Fable 5.2 单任务 1.87 美元，是 Sol（0.11 美元）的 17 倍；按一家 70 人公司每月约 2500 条 Slack 线程估算，Sol 月账单约 281 美元，Fable 5.2 约 4684 美元。最极端的对比是 Fable 5.1（3.02 美元 / 单）与 GPT-6 Luna（0.007 美元 / 单），价格差 430 倍，得分只差 1.1 分。
2. 该闭嘴比该帮忙难
需要出手的 40 个任务里，模型约九成能搞定；但 10 个 "该沉默" 的场景，表现最好的也只忍住 8 次，多数只忍 6 次。更有意思的是，插嘴说错时平均要多花 1.8 倍的时间和金钱 —— 它们是认真调了一圈工具后才 "一本正经地回复" 了一条不需要回的消息。
3. 两种工作风格：狙击手 vs 深度思考者
| 风格 | 代表 | 特征 |
|---|---|---|
| 狙击手 | Opus 5.5 | 平均 10 次工具调用、29 秒交卷、7.84 分，快准狠，该沉默时忍住 8 次 |
| 深度思考者 | GPT-6.1 Sol | 平均 18 次调用、54 秒交卷、8.65 分，多花 80% 时间和工具，分数高约 10%，价格仅 Opus 十分之一 |
4. 调工具多不等于干得好
Gemini 4 Argon 和 Grok 4.7 平均调 35 次左右工具，是 Sol 的两倍，但分别有 27 次、18 次跑到 180 秒超时没交卷，在 17 个、20 个任务上拿零分，直接垫底 —— 属于 "翻书翻到考试结束，卷子还是白的"。
四、对选模型的启示
- 评判标准变了：主动型 AI 同事看三点 —— 该帮时帮得上、不该帮时闭得住、账单经得住算，这是判断力而非智力。
- 按场景路由而非单选：实时对话用快模型抢时间（Sonnet 5.5 仅 15 秒），后台分析用 Sol 省钱拿分，Deepnote 报告本身也建议这种分层策略。
- 工程建议：把 "这事是否已经处理了？" 设成显式步骤，单独统计误报插嘴次数，并给搜索调用设预算上限。
【常见问题】
问题 1：Fable 5.2 贵 17 倍还输了，这个评测到底比的是什么？
回答 1：这是 Deepnote 的 Agent Initiative Benchmark，把 12 个 AI 模型放进虚构公司的 Slack 群当同事，测它们在 50 个职场任务里何时帮忙、何时沉默；Fable 5.2 得 8.17 分排第三，单任务 1.87 美元是 GPT-6.1 Sol（0.11 美元）的 17 倍，成本高但分数更低，所以说 "贵 17 倍还输了"。
问题 2：GPT-6 Astra 和 GPT-6.1 Sol 在评测里排第几，差距多大？
回答 2：Astra 以 8.97 分排第一，Sol 以 8.65 分排第二，两者差 0.32 分且 95% 置信区间重叠，统计上难分高下；Sol 单任务仅 0.112 美元、成本约为 Astra 的六分之一，是性价比最高的一档。
问题 3：这个 "12 个 AI 进群当同事" 的测试环境是怎么搭的？
回答 3：Deepnote 虚构了一家 6 年历史、71 名员工的公司 PageMantle，打通 Slack、Linear、HubSpot、BigQuery、Snowflake 等 11 套业务系统，AI 潜伏群内可回频道、回线程、私信或沉默；50 个任务、180 秒时限，两个盲评模型打 0—10 分，数据和代码开源。
问题 4：为什么说这个评测里 "该闭嘴比该帮忙难"？
回答 4：需要出手的任务模型约九成能完成，但 10 个该沉默的场景里最好成绩只忍住 8 次；插嘴时平均多花 1.8 倍时间和金钱，模型往往认真调查后回复一条本不需要的消息，这种 "热心过头" 既打扰团队又烧钱。
问题 5：Gemini 和 Grok 在这个评测里为什么垫底？
回答 5：Gemini 4 Argon 和 Grok 4.7 平均调约 35 次工具，远超对手，但分别有 27 次和 18 次任务超时未交卷、在十余个任务上零分，属于调查过度、赶不上 Slack 实时节奏；它们的失分主要来自超时而非答案错误。
【参考资料】
- [2026-11-14]（Fable 5.2 贵 17 倍还输了！12 个 AI 进群当同事，OpenAI 包揽前二）腾讯新闻・新智元
- [2026-11-14]（Agent Initiative Benchmark: GPT-6 Astra Leads, and Most AI Agents Can't Stay Quiet）i10X News
- [2026-11-09]（Introducing Claude Fable 5.2 and Claude Mythos 5.2）Anthropic 官方网站
【免责声明】
本文评测结果整理自 Deepnote 公开报告与媒体报道，得分、成本受测试提示词、工具策略、推理强度与 180 秒时限影响；Deepnote 明确表示更换 harness 后所有数字都会变动。本文不构成模型选型或投资建议，实际采购请结合自身任务场景复测。