您的位置首页 >人工智能 >

Claude 自研推理引擎实测,首 token 等待时间从 12 秒压缩至 0.48 秒

Anthropic 放出测试结果,Claude 利用 Claude Code 自己编写了一套全新推理引擎,在相同硬件、相同模型、16 路并发真实编程会话的对照测试中,P90 首 token 延迟从 SGLang 的 12.029 秒降到 0.478 秒,也就是用户提交请求之后,等待 AI 返回第一个字的时间直接从 12 秒砍到半秒级别,不过要注意,首 token 之后持续生成 token 的吞吐速度,两套引擎差距不大,中位数下 Claude 自研引擎每秒输出 124.2 个 token,和 SGLang 基本持平,这个测试使用 4 张 GB300 显卡跑同一模型,用真实编程对话回放做验证,不是简单的空载基准测试。

本次对照测试核心数据

测试项目SGLang v0.5.20Claude 自写推理引擎
P90 首 token 延迟 (TTFT)12.029 秒0.478 秒
中位数输出速度123.7 token/s124.2 token/s
测试硬件4 张 GB3004 张 GB300
并发压力16 路真实编程会话回放16 路真实编程会话回放

什么是首 token 延迟 TTFT

TTFT(Time to First Token)就是从用户发送提示词,到 AI 输出第一个文字的耗时,是聊天、代码 Agent 这类交互式场景最重要指标。P90 代表 90% 的请求都能在该时间内返回首 token。高并发场景下,旧引擎排队调度压力大,用户要长时间等待;新自研引擎优化任务调度与显存管理,大幅削减排队等待时间。

Claude 自写推理引擎核心优化方向

  1. 精细化任务调度:针对长上下文编程 Agent 场景优化请求排队逻辑,减少请求在 GPU 队列中的阻塞等待。
  2. 显存预分配与缓存优化:提前管理 KV 缓存,降低大并发下显存争抢带来的延迟飙升问题。
  3. 由 AI 自主完成工程开发:整套推理引擎代码是 Claude Code 生成,再由工程师审核、修正,验证大模型编写底层高性能基础设施代码的能力。

测试结论解读

这次优化最大亮点不是提升持续输出速度,而是解决并发场景首字等待太久的痛点。旧引擎在 16 路并发下,大量请求排队,P90 首 token 直接拉长到 12 秒,用户体验很差;Claude 自研引擎在同等压力下,绝大多数请求半秒就能看到 AI 回复开头。但这只是实验项目,还不是正式上线到 Claude 公有 API 的生产版本。

简单总结,Claude 用自身代码能力手写推理引擎,在 4 卡 GB300、16 路并发编程会话测试中,P90 首 token 延迟由 12 秒降至 0.48 秒,大幅改善交互式使用的等待体验;不过持续生成 token 的吞吐性能没有明显提升,这套引擎目前属于实验项目,还没有正式部署到线上 Claude 服务。

【相关 FAQ】

问题 1:Claude 自写推理引擎,首 token 延迟从 12 秒降到多少?

回答 1:Claude 自写推理引擎在对照测试中 P90 首 token 延迟从 12.029 秒降至 0.478 秒,用户等待 AI 返回第一个字的时间缩短至半秒级别。

问题 2:Claude 自写推理引擎相比 SGLang,输出 token 速度提升明显吗?

回答 2:Claude 自写推理引擎主要优化首 token 等待时间,首 token 之后持续生成 token 的吞吐性能提升很小,中位数输出速度两者基本持平。

问题 3:Claude 自写推理引擎会直接上线 Claude 公有 API 吗?

回答 3:Claude 自写推理引擎当前属于实验验证项目,证明大模型可编写底层推理基础设施代码,暂时还没有正式部署到 Claude 线上公有 API。

【参考资料】

[2026-11-20](Claude 自写推理引擎!等 AI 回第一个字,12 秒砍到半秒)虎嗅网

[2026-11-20](Claude Code 编写推理引擎,P90 首 token 延迟降至 0.48 秒)新智元

[2026-11-20](Claude writes inference engine, TTFT drops from 12s to 0.48s)Hacker News

[2026-11-20](Anthropic 展示 Claude Code 开发底层推理系统实验结果)机器之心

【免责声明】

本文仅为 AI 工程技术资讯解读,不构成 API 选型、服务器采购建议。本次 Claude 自写推理引擎为实验室对照测试结果,属于实验项目,并非线上正式版本;实际业务延迟受显卡型号、并发量、上下文长度、网络环境多重因素影响,实际效果会有差异。

今日大家都在搜的词: