SGLang 在峰会当天同步放出两大重磅消息,一边是 NVIDIA、AMD、Intel 这三家芯片领域的主要对手共同加入 SGLang 联盟,一起参与开源推理框架的路线规划,另一边是 SGLang v1.0 版本正式上线,搭配全新 Megakernel 巨型内核优化,Meta 的 Muse Spark Open 模型在 8 张 GB300、单请求场景下吞吐直接实现翻倍,单请求解码速度从 517 token/s 提升到 1109 token/s。这一次合作打破行业常态,平时互相竞争的芯片厂商选择在同一个开源推理项目上协同优化,核心原因是现在大模型、MoE 模型推理成本太高,统一一套高性能推理框架,能让不同品牌硬件都跑好主流大模型;这次 v1.0 版本主打生产环境稳定性、跨硬件兼容,而 Muse Spark Open 作为 816B 参数的多模态 MoE 大模型,本身单请求延迟高、内核调度开销大,Megakernel 技术把上千个零散 CUDA 内核融合成单个常驻 GPU 内核,大幅减少同步等待,最终拿到接近 2.14 倍的提升,给低并发、单用户 Agent 场景提供很好的性能方案,目前已经有 332 家机构在生产里使用 SGLang。
SGLang v1.0 核心更新清单
- 版本定位:正式稳定生产版,重点完善兼容性、错误提示、部署稳定性,从快速迭代转向企业可用标准
- 核心性能优化:Megakernel 巨型内核,专门面向 MoE 大模型,减少内核启动次数、降低通信等待开销
- 调度架构:支持 Prefill 和 Decode 解耦部署、分层 Radix 缓存,适配超长上下文 Agent 对话
- 跨硬件适配:原生支持 NVIDIA GB300/B300、AMD MI355X、Intel 加速卡、Google TPU,新增 AWS Trainium 预览支持
- 配套工具:同步发布 Miles v0.2,用于后训练 RL,跨多硬件运行
Muse Spark Open 8×GB300 测试信息
| 项目 | 参数详情 |
|---|---|
| 模型 | Muse Spark Open,816B 多模态 MoE,激活约 42B 参数,支持 1M 上下文,图文音视频输入 |
| 硬件 | 8 卡 GB300,NVFP4 精度权重 |
| 测试场景 | 并发 = 1,单请求低延迟场景 |
| 优化手段 | MegaKernel 融合内核 + 序列并行 + NVFP4 MoE 专项优化 |
| 性能变化 | 原 517 token/s → 优化后 1109 token/s,吞吐约 2.14 倍 |
SGLang 联盟合作说明
- 创始成员:NVIDIA、AMD、Intel、Meta、Google、Cloudflare、Modal、RadixArk、Thinking Machines Lab
- 分工规则:芯片厂商提供硬件适配、内核开发、测试资源;SGLang 原生维护团队保留代码合并、技术决策权限,联盟每年两次路线会,统一规划推理框架方向
- 合作意义:不再各自单独做推理闭栈,开发者一套 SGLang 代码就能跑在不同品牌 AI 芯片上
适用场景和局限
✅ 适合:Agent 智能体、长上下文对话、单用户低延迟推理、MoE 超大模型部署
⚠️ 局限:Megakernel 增益在高并发批量场景下没有这么夸张;目前 Muse Spark Open 的大幅提升依赖 GB300 硬件与 NVFP4 量化,其他硬件平台增益不等
【常见问题】
问题 1:SGLang v1.0 发布,Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍靠什么技术?
回答 1:SGLang v1.0 发布后,Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍,依靠 Megakernel 巨型内核技术,把原本上千个碎片化 CUDA 算子融合成单个常驻 GPU 内核,减少频繁同步和等待开销,专门针对 MoE 模型做调度优化。
问题 2:NVIDIA、AMD、Intel 联手加入 SGLang 联盟,会对 SGLang v1.0 和 Muse Spark Open 带来哪些影响?
回答 2:NVIDIA、AMD、Intel 联手加入 SGLang 联盟,会共同推进 SGLang v1.0 的跨芯片适配,给 Muse Spark Open 这类大模型提供不同硬件平台上的内核优化,降低模型在不同品牌加速卡上的迁移成本。
问题 3:Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍,是不是所有并发场景都能拿到这个提升?
回答 3:不是,Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍,这个 2 倍左右的提升是并发等于 1 的单请求低延迟场景测出来的,高并发批量推理场景,SGLang v1.0 依然有优化,但增益幅度会明显变小。
问题 4:SGLang v1.0 是什么版本,和之前版本相比重点改动在哪里?
回答 4:SGLang v1.0 是面向生产环境的稳定正式版,相比之前版本,重点强化跨硬件兼容、报错提示、解耦预填解码架构,同时引入 Megakernel,实现 Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍的效果。
【参考资料】
[2026-11-17](SGLang Summit 2026 Recap: Building Open AI Infrastructure Together)LMSYS Org
[2026-11-17](SGLang announces industry consortium and ships v1.0 at SGLang Summit)VQV.me
[2026-11-18](NVIDIA, AMD and Intel Join SGLang Alliance to Shape Its Roadmap)TokenPost
[2026-11-12](SGLang and Miles Add Day-0 Support for Muse Spark Open)LMSYS Org
【免责声明】
本文内容仅为 AI 开源框架行业资讯解读;SGLang v1.0、Muse Spark Open 在 GB300 上的吞吐数据是特定测试环境下的基准结果,实际业务吞吐、延迟受并发、量化策略、集群配置影响;框架性能、联盟路线规划以 LMSYS、SGLang 官方文档和公告为准,不构成部署选型、硬件采购建议。
