您的位置首页 >人工智能 >

SGLang v1.0 正式发布,NVIDIA AMD Intel 联手,Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍

SGLang 在峰会当天同步放出两大重磅消息,一边是 NVIDIA、AMD、Intel 这三家芯片领域的主要对手共同加入 SGLang 联盟,一起参与开源推理框架的路线规划,另一边是 SGLang v1.0 版本正式上线,搭配全新 Megakernel 巨型内核优化,Meta 的 Muse Spark Open 模型在 8 张 GB300、单请求场景下吞吐直接实现翻倍,单请求解码速度从 517 token/s 提升到 1109 token/s。这一次合作打破行业常态,平时互相竞争的芯片厂商选择在同一个开源推理项目上协同优化,核心原因是现在大模型、MoE 模型推理成本太高,统一一套高性能推理框架,能让不同品牌硬件都跑好主流大模型;这次 v1.0 版本主打生产环境稳定性、跨硬件兼容,而 Muse Spark Open 作为 816B 参数的多模态 MoE 大模型,本身单请求延迟高、内核调度开销大,Megakernel 技术把上千个零散 CUDA 内核融合成单个常驻 GPU 内核,大幅减少同步等待,最终拿到接近 2.14 倍的提升,给低并发、单用户 Agent 场景提供很好的性能方案,目前已经有 332 家机构在生产里使用 SGLang。

SGLang v1.0 核心更新清单

  • 版本定位:正式稳定生产版,重点完善兼容性、错误提示、部署稳定性,从快速迭代转向企业可用标准
  • 核心性能优化:Megakernel 巨型内核,专门面向 MoE 大模型,减少内核启动次数、降低通信等待开销
  • 调度架构:支持 Prefill 和 Decode 解耦部署、分层 Radix 缓存,适配超长上下文 Agent 对话
  • 跨硬件适配:原生支持 NVIDIA GB300/B300、AMD MI355X、Intel 加速卡、Google TPU,新增 AWS Trainium 预览支持
  • 配套工具:同步发布 Miles v0.2,用于后训练 RL,跨多硬件运行

Muse Spark Open 8×GB300 测试信息

项目参数详情
模型Muse Spark Open,816B 多模态 MoE,激活约 42B 参数,支持 1M 上下文,图文音视频输入
硬件8 卡 GB300,NVFP4 精度权重
测试场景并发 = 1,单请求低延迟场景
优化手段MegaKernel 融合内核 + 序列并行 + NVFP4 MoE 专项优化
性能变化原 517 token/s → 优化后 1109 token/s,吞吐约 2.14 倍

SGLang 联盟合作说明

  • 创始成员:NVIDIA、AMD、Intel、Meta、Google、Cloudflare、Modal、RadixArk、Thinking Machines Lab
  • 分工规则:芯片厂商提供硬件适配、内核开发、测试资源;SGLang 原生维护团队保留代码合并、技术决策权限,联盟每年两次路线会,统一规划推理框架方向
  • 合作意义:不再各自单独做推理闭栈,开发者一套 SGLang 代码就能跑在不同品牌 AI 芯片上

适用场景和局限

✅ 适合:Agent 智能体、长上下文对话、单用户低延迟推理、MoE 超大模型部署

⚠️ 局限:Megakernel 增益在高并发批量场景下没有这么夸张;目前 Muse Spark Open 的大幅提升依赖 GB300 硬件与 NVFP4 量化,其他硬件平台增益不等

【常见问题】

问题 1:SGLang v1.0 发布,Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍靠什么技术?

回答 1:SGLang v1.0 发布后,Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍,依靠 Megakernel 巨型内核技术,把原本上千个碎片化 CUDA 算子融合成单个常驻 GPU 内核,减少频繁同步和等待开销,专门针对 MoE 模型做调度优化。

问题 2:NVIDIA、AMD、Intel 联手加入 SGLang 联盟,会对 SGLang v1.0 和 Muse Spark Open 带来哪些影响?

回答 2:NVIDIA、AMD、Intel 联手加入 SGLang 联盟,会共同推进 SGLang v1.0 的跨芯片适配,给 Muse Spark Open 这类大模型提供不同硬件平台上的内核优化,降低模型在不同品牌加速卡上的迁移成本。

问题 3:Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍,是不是所有并发场景都能拿到这个提升?

回答 3:不是,Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍,这个 2 倍左右的提升是并发等于 1 的单请求低延迟场景测出来的,高并发批量推理场景,SGLang v1.0 依然有优化,但增益幅度会明显变小。

问题 4:SGLang v1.0 是什么版本,和之前版本相比重点改动在哪里?

回答 4:SGLang v1.0 是面向生产环境的稳定正式版,相比之前版本,重点强化跨硬件兼容、报错提示、解耦预填解码架构,同时引入 Megakernel,实现 Muse Spark Open 在 8 张 GB300 上单请求吞吐翻倍的效果。

【参考资料】

[2026-11-17](SGLang Summit 2026 Recap: Building Open AI Infrastructure Together)LMSYS Org

[2026-11-17](SGLang announces industry consortium and ships v1.0 at SGLang Summit)VQV.me

[2026-11-18](NVIDIA, AMD and Intel Join SGLang Alliance to Shape Its Roadmap)TokenPost

[2026-11-12](SGLang and Miles Add Day-0 Support for Muse Spark Open)LMSYS Org

【免责声明】

本文内容仅为 AI 开源框架行业资讯解读;SGLang v1.0、Muse Spark Open 在 GB300 上的吞吐数据是特定测试环境下的基准结果,实际业务吞吐、延迟受并发、量化策略、集群配置影响;框架性能、联盟路线规划以 LMSYS、SGLang 官方文档和公告为准,不构成部署选型、硬件采购建议。

今日大家都在搜的词: