Anthropic 放出测试结果,Claude 利用 Claude Code 自己编写了一套全新推理引擎,在相同硬件、相同模型、16 路并发真实编程会话的对照测试中,P90 首 token 延迟从 SGLang 的 12.029 秒降到 0.478 秒,也就是用户提交请求之后,等待 AI 返回第一个字的时间直接从 12 秒砍到半秒级别,不过要注意,首 token 之后持续生成 token 的吞吐速度,两套引擎差距不大,中位数下 Claude 自研引擎每秒输出 124.2 个 token,和 SGLang 基本持平,这个测试使用 4 张 GB300 显卡跑同一模型,用真实编程对话回放做验证,不是简单的空载基准测试。
本次对照测试核心数据
| 测试项目 | SGLang v0.5.20 | Claude 自写推理引擎 |
|---|---|---|
| P90 首 token 延迟 (TTFT) | 12.029 秒 | 0.478 秒 |
| 中位数输出速度 | 123.7 token/s | 124.2 token/s |
| 测试硬件 | 4 张 GB300 | 4 张 GB300 |
| 并发压力 | 16 路真实编程会话回放 | 16 路真实编程会话回放 |
什么是首 token 延迟 TTFT
TTFT(Time to First Token)就是从用户发送提示词,到 AI 输出第一个文字的耗时,是聊天、代码 Agent 这类交互式场景最重要指标。P90 代表 90% 的请求都能在该时间内返回首 token。高并发场景下,旧引擎排队调度压力大,用户要长时间等待;新自研引擎优化任务调度与显存管理,大幅削减排队等待时间。
Claude 自写推理引擎核心优化方向
- 精细化任务调度:针对长上下文编程 Agent 场景优化请求排队逻辑,减少请求在 GPU 队列中的阻塞等待。
- 显存预分配与缓存优化:提前管理 KV 缓存,降低大并发下显存争抢带来的延迟飙升问题。
- 由 AI 自主完成工程开发:整套推理引擎代码是 Claude Code 生成,再由工程师审核、修正,验证大模型编写底层高性能基础设施代码的能力。
测试结论解读
这次优化最大亮点不是提升持续输出速度,而是解决并发场景首字等待太久的痛点。旧引擎在 16 路并发下,大量请求排队,P90 首 token 直接拉长到 12 秒,用户体验很差;Claude 自研引擎在同等压力下,绝大多数请求半秒就能看到 AI 回复开头。但这只是实验项目,还不是正式上线到 Claude 公有 API 的生产版本。
简单总结,Claude 用自身代码能力手写推理引擎,在 4 卡 GB300、16 路并发编程会话测试中,P90 首 token 延迟由 12 秒降至 0.48 秒,大幅改善交互式使用的等待体验;不过持续生成 token 的吞吐性能没有明显提升,这套引擎目前属于实验项目,还没有正式部署到线上 Claude 服务。
【相关 FAQ】
问题 1:Claude 自写推理引擎,首 token 延迟从 12 秒降到多少?
回答 1:Claude 自写推理引擎在对照测试中 P90 首 token 延迟从 12.029 秒降至 0.478 秒,用户等待 AI 返回第一个字的时间缩短至半秒级别。
问题 2:Claude 自写推理引擎相比 SGLang,输出 token 速度提升明显吗?
回答 2:Claude 自写推理引擎主要优化首 token 等待时间,首 token 之后持续生成 token 的吞吐性能提升很小,中位数输出速度两者基本持平。
问题 3:Claude 自写推理引擎会直接上线 Claude 公有 API 吗?
回答 3:Claude 自写推理引擎当前属于实验验证项目,证明大模型可编写底层推理基础设施代码,暂时还没有正式部署到 Claude 线上公有 API。
【参考资料】
[2026-11-20](Claude 自写推理引擎!等 AI 回第一个字,12 秒砍到半秒)虎嗅网
[2026-11-20](Claude Code 编写推理引擎,P90 首 token 延迟降至 0.48 秒)新智元
[2026-11-20](Claude writes inference engine, TTFT drops from 12s to 0.48s)Hacker News
[2026-11-20](Anthropic 展示 Claude Code 开发底层推理系统实验结果)机器之心
【免责声明】
本文仅为 AI 工程技术资讯解读,不构成 API 选型、服务器采购建议。本次 Claude 自写推理引擎为实验室对照测试结果,属于实验项目,并非线上正式版本;实际业务延迟受显卡型号、并发量、上下文长度、网络环境多重因素影响,实际效果会有差异。
