在卡内基梅隆大学等机构推出的 Singularity-Bench 基准测试里,Claude Opus 5.5 搭配 Claude Code,自主写出一套推理引擎;在完全一致硬件、同一个模型、回放相同 16 路并发编程对话的条件下,成熟推理引擎 SGLang v0.5.20 的 P90 首 token 延迟约 12 秒,而 Claude 自研这套引擎把 P90 首 token 延迟降到 0.48 秒,也就是接近半秒,两者生成 token 的吞吐速度差距不大,优化重点集中在请求调度、上下文预处理环节;这个测试核心是验证 AI 智能体能不能独立搭建 AI 底层基础设施,并不是 Anthropic 官方上线商用版本,距离大规模对外部署还有距离。
测试基础信息表格
| 项目 | 详情 |
|---|---|
| 测试基准 | Singularity-Bench(评估智能体自研 AI 基础设施能力) |
| 参与模型 | Claude Opus 5.5 + Claude Code |
| 硬件 | 4 张 GB300 显卡 |
| 对照组引擎 | SGLang v0.5.20(主流开源推理引擎) |
| 指标 | P90 首 token 延迟(TTFT) |
| 对照结果 | SGLang:12.029 秒;Claude 自研引擎:0.478 秒 |
| 输出吞吐 | 两者中位数生成速度接近,约 124.2 token/s |
首 token 延迟到底是什么
首 token 延迟(TTFT),就是用户提交请求之后,到 AI 返回第一个文字令牌的等待时长。
- P90 代表 90% 的请求都可以在这个时间内拿到首个 token,是线上服务很关键的体验指标;
- 吞吐速度,是 AI 开始输出之后,每秒能吐出多少 token;
- 本次优化只大幅改善 TTFT,连续生成阶段的速度提升并不明显。
本次测试的关键背景说明
- 引擎是 Claude 自己写出来的,不是 Anthropic 官方已经上线的正式产品,属于基准测试里的任务产出。
- 任务限制条件:给基础服务代码、显卡资源、12 小时开发窗口,禁止联网查外部资料。
- 整套基准一共 6 项 AI 研发任务,Claude 组合拿到 5 胜 1 平,是唯一超过人类基线的参赛方案。
- 优化思路偏向请求调度、批处理策略、上下文预加载,专门适配长对话、多轮编程智能体场景。
这项成果带来的影响
✅ 证明大模型智能体有能力独立完成底层推理框架开发,实现自优化
✅ 长会话、多轮循环的代码智能体体验会大幅改善,不用长时间等待首字
✅ 给推理引擎优化提供新思路,重点针对并发、超长上下文场景做调度改良
⚠️ 不等于正式商用:没有开放给普通 API 用户,还处在实验验证阶段
⚠️ 不是通用碾压:只在本次固定测试负载下拿到这个数据,其他负载场景表现未知
【相关 FAQ】
问题 1:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,这个测试是 Anthropic 官方产品上线吗?
回答 1:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,这个推理引擎是 Claude 在 Singularity-Bench 测试任务中自主开发的实验产物,并不是 Anthropic 已经上线商用的正式推理服务。
问题 2:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,首 token 延迟和后续生成速度有什么区别?
回答 2:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,首 token 延迟是发送请求到收到第一个字的等待时间,本次优化主要优化这一项;开始输出之后,它和 SGLang 的每秒 token 生成速度基本接近。
问题 3:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,这次测试用什么硬件、什么对照组?
回答 3:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,测试使用 4 张 GB300 显卡,对照组是行业主流开源推理引擎 SGLang v0.5.20,回放同一批 16 路并发编程会话。
问题 4:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,这个 Singularity-Bench 基准是测什么的?
回答 4:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,Singularity-Bench 用来检验 AI 智能体能不能自主搭建、优化 AI 底层基础设施,包含推理引擎开发等 6 项研发任务。
【参考资料】
[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)36 氪
[2026-11-20](Claude's self-developed inference engine cuts first-token latency from 12 seconds to half a second)C114Pro
[2026-11-20](Claude's self-developed inference engine cuts first-token latency from 12 seconds to half a second)AIBase
[2026-11-12](Singularity-Bench: Can Agents Build Agents?)arXiv 预印本
【免责声明】
本文数据来自学术基准测试的公开结果,Claude 自研推理引擎属于实验项目,不是稳定线上版本;在不同负载、上下文长度、硬件环境下延迟表现会发生变化,内容仅为行业资讯科普,不代表线上 API 实际性能,不构成选型、采购建议。
