您的位置首页 >科技要闻 >

Claude 自研推理引擎落地,首 token 延迟从 12 秒压缩至 0.48 秒

Anthropic 放出了由 Claude Code 自己写出来的推理引擎实测结果,在相同硬件、相同模型、相同 16 路并发编程测试场景下,对比成熟开源推理框架 SGLang v0.5.20,P90 首 token 延迟从 12.029 秒降到 0.478 秒,也就是用户按下回车之后,几乎立刻就能看到 AI 输出第一个字,这套引擎本身的作用是接收用户请求、调度 GPU 资源、跑模型、流式返回内容,整个代码由 Claude 自主完成编写,团队用真实编程会话回放做对照测试,排除了参数、模型版本带来的干扰,不过要注意,进入生成阶段之后两者输出 token 速度差距不大,Claude 写的引擎中位数生成速度 124.2 token/s,SGLang 水平接近,优化红利集中在等待首字的加载阶段,这个变化对代码助手、实时对话这类对首字等待敏感的场景提升非常明显,过去长时间等待很容易打断用户思路,半秒级延迟可以做到接近本地软件的响应手感。

实测对比数据表

测试项目Claude 自写推理引擎SGLang v0.5.20
P90 首 token 延迟0.478s12.029s
中位数生成速度124.2 token/s123.x token/s
测试硬件4 张 GB3004 张 GB300
并发压力16 路编程会话16 路编程会话

核心要点拆解

  1. 引擎主体:整套推理调度代码由 Claude Code 自主生成,不是人工从头开发。
  2. 优化重点:主攻首 token 延迟(TTFT),也就是从发请求到出第一个字的等待时间,不是提升持续输出速度。
  3. 测试方式:回放真实编程对话,不是人工构造简单 prompt,更贴近开发者真实使用情况。
  4. 适用场景:代码助手、Agent 实时交互、低延迟对话产品收益最大;纯长文本批量生成场景提升有限。
  5. 现状定位:属于 AI 自研推理框架的实验验证,还没有正式对外上线开放使用。

潜在局限

  • 目前公开信息只有这套固定测试环境下的数据,高并发、超长上下文场景表现未知。
  • 还没有公开完整源码,暂时无法直接拿来部署使用。
  • 持续生成 token 速度和现有主流框架差距很小,不要理解成整体推理速度翻倍。

【相关 FAQ】

问题 1:Claude 自写推理引擎把首 token 延迟从 12 秒砍到半秒,优化的是什么环节?

回答 1:Claude 自写推理引擎优化的是首 token 延迟 TTFT,也就是用户提交请求之后,等到 AI 输出第一个文字的等待阶段,后续持续输出文字的生成速度和 SGLang 差距不大。

问题 2:Claude 自写推理引擎是 Claude 模型本身的思考推理能力升级吗?

回答 2:不是,Claude 自写推理引擎是调度 GPU、分发请求、运行大模型的后端推理调度框架,和 Claude 自带的 extended thinking 思考模式是两套东西,它不改变模型本身的推理能力。

问题 3:Claude 自写推理引擎现在能不能直接在 API 或者 Claude 网页端用上?

回答 3:暂时不行,Claude 自写推理引擎目前只是公开了对照测试结果,属于实验项目,官方还没有开放部署、上线到面向普通用户的产品里。

问题 4:Claude 自写推理引擎和 SGLang 对比,硬件条件是一样的吗?

回答 4:测试条件保持一致,Claude 自写推理引擎与 SGLang v0.5.20 都使用 4 张 GB300 显卡,回放同一批 16 路编程会话,变量只有推理引擎本身。

【参考资料】

[2026-11-20](Claude 自写推理引擎,等 AI 回第一个字,12 秒砍到半秒)虎嗅网

[2026-11-20](Claude Code 自研推理框架实测,TTFT 大幅降低)新智元

【免责声明】

本文资讯仅为公开实验测试信息整理,Claude 自写推理引擎尚未正式商用;测试数据是特定硬件、特定负载下的实验值,不代表所有场景都能达到半秒首 token 效果,不构成框架选型、开发采购建议。

今日大家都在搜的词: