您的位置首页 >人工智能 >

Claude 自研推理引擎实测P90 首 token 延迟从 12 秒压缩至 0.48 秒

在卡内基梅隆大学等机构推出的 Singularity-Bench 基准测试里,Claude Opus 5.5 搭配 Claude Code,自主写出一套推理引擎;在完全一致硬件、同一个模型、回放相同 16 路并发编程对话的条件下,成熟推理引擎 SGLang v0.5.20 的 P90 首 token 延迟约 12 秒,而 Claude 自研这套引擎把 P90 首 token 延迟降到 0.48 秒,也就是接近半秒,两者生成 token 的吞吐速度差距不大,优化重点集中在请求调度、上下文预处理环节;这个测试核心是验证 AI 智能体能不能独立搭建 AI 底层基础设施,并不是 Anthropic 官方上线商用版本,距离大规模对外部署还有距离。

测试基础信息表格

项目详情
测试基准Singularity-Bench(评估智能体自研 AI 基础设施能力)
参与模型Claude Opus 5.5 + Claude Code
硬件4 张 GB300 显卡
对照组引擎SGLang v0.5.20(主流开源推理引擎)
指标P90 首 token 延迟(TTFT)
对照结果SGLang:12.029 秒;Claude 自研引擎:0.478 秒
输出吞吐两者中位数生成速度接近,约 124.2 token/s

首 token 延迟到底是什么

首 token 延迟(TTFT),就是用户提交请求之后,到 AI 返回第一个文字令牌的等待时长。

  • P90 代表 90% 的请求都可以在这个时间内拿到首个 token,是线上服务很关键的体验指标;
  • 吞吐速度,是 AI 开始输出之后,每秒能吐出多少 token;
  • 本次优化只大幅改善 TTFT,连续生成阶段的速度提升并不明显。

本次测试的关键背景说明

  1. 引擎是 Claude 自己写出来的,不是 Anthropic 官方已经上线的正式产品,属于基准测试里的任务产出。
  2. 任务限制条件:给基础服务代码、显卡资源、12 小时开发窗口,禁止联网查外部资料。
  3. 整套基准一共 6 项 AI 研发任务,Claude 组合拿到 5 胜 1 平,是唯一超过人类基线的参赛方案。
  4. 优化思路偏向请求调度、批处理策略、上下文预加载,专门适配长对话、多轮编程智能体场景。

这项成果带来的影响

✅ 证明大模型智能体有能力独立完成底层推理框架开发,实现自优化

✅ 长会话、多轮循环的代码智能体体验会大幅改善,不用长时间等待首字

✅ 给推理引擎优化提供新思路,重点针对并发、超长上下文场景做调度改良

⚠️ 不等于正式商用:没有开放给普通 API 用户,还处在实验验证阶段

⚠️ 不是通用碾压:只在本次固定测试负载下拿到这个数据,其他负载场景表现未知

【相关 FAQ】

问题 1:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,这个测试是 Anthropic 官方产品上线吗?

回答 1:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,这个推理引擎是 Claude 在 Singularity-Bench 测试任务中自主开发的实验产物,并不是 Anthropic 已经上线商用的正式推理服务。

问题 2:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,首 token 延迟和后续生成速度有什么区别?

回答 2:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,首 token 延迟是发送请求到收到第一个字的等待时间,本次优化主要优化这一项;开始输出之后,它和 SGLang 的每秒 token 生成速度基本接近。

问题 3:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,这次测试用什么硬件、什么对照组?

回答 3:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,测试使用 4 张 GB300 显卡,对照组是行业主流开源推理引擎 SGLang v0.5.20,回放同一批 16 路并发编程会话。

问题 4:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,这个 Singularity-Bench 基准是测什么的?

回答 4:Claude 自研推理引擎将首 token 延迟从 12 秒缩短至半秒,Singularity-Bench 用来检验 AI 智能体能不能自主搭建、优化 AI 底层基础设施,包含推理引擎开发等 6 项研发任务。

【参考资料】

[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)36 氪

[2026-11-20](Claude's self-developed inference engine cuts first-token latency from 12 seconds to half a second)C114Pro

[2026-11-20](Claude's self-developed inference engine cuts first-token latency from 12 seconds to half a second)AIBase

[2026-11-12](Singularity-Bench: Can Agents Build Agents?)arXiv 预印本

【免责声明】

本文数据来自学术基准测试的公开结果,Claude 自研推理引擎属于实验项目,不是稳定线上版本;在不同负载、上下文长度、硬件环境下延迟表现会发生变化,内容仅为行业资讯科普,不代表线上 API 实际性能,不构成选型、采购建议。

今日大家都在搜的词: