您的位置首页 >人工智能 >

硬件零改动吞吐翻倍,英伟达 AMD 英特尔联合入局 SGLang 开源推理

不需要更换任何 GPU、服务器硬件,仅靠开源推理框架 SGLang 的软件调度优化,就可以把大模型推理吞吐提升翻倍;2026 年 11 月 12 日 SGLang 联盟正式成立,英伟达、AMD、英特尔三家芯片厂商破天荒共同加入,联合 Google、Meta、Cloudflare 等企业一起推进 SGLang 开源推理引擎。本次厂商集体入局的核心原因,是大模型推理成本已经占到 AI 算力总支出的约三分之二,单纯堆硬件买卡成本极高,通过软件层优化就能榨干现有硬件潜力,不用扩容机房也能提升并发处理能力。SGLang 原本就是广泛部署的开源推理框架,已经支撑超过 40 万块 GPU 线上运行;三家硬件厂商联合,是为了让 SGLang 在自家芯片上跑出更高效率,统一跨平台优化路线,降低企业推理成本。联盟成立只确定长期合作方向,吞吐翻倍来自 SGLang 现有的调度、缓存优化能力,不是本次联盟带来的新功能。

一、SGLang 联盟基础信息

项目详情
发布时间2026 年 11 月 12 日,首届 SGLang Summit(旧金山)
发起方LMSYS Org(SGLang 开源项目维护方)
创始成员英伟达、AMD、英特尔、Google、Meta、Thinking Machines Lab、Cloudflare、Modal、RadixArk
项目定位全栈开源大模型 / 多模态推理引擎,PyTorch 生态组件
核心目标跨硬件平台优化推理性能、降低推理成本、统一开源推理标准

二、为什么硬件不动就能实现吞吐翻倍

SGLang 的性能提升全部来自软件层优化,不需要升级硬件:

  1. RadixAttention 前缀缓存
  2. 混合预填充 + 解码调度
  3. 请求前缀感知调度
  4. 多级缓存 HiCache

利用 GPU 空闲显存缓存重复前缀的 KV Cache,相同上下文的请求不用重复计算,直接复用缓存结果,大幅减少重复算力开销。

同一计算块同时处理预填充请求与生成请求,避免 GPU 算力闲置,平衡计算密集与内存密集任务,提升 GPU 利用率。

把共享相同前缀的请求聚合成批处理,提升 KV Cache 命中率,减少重复读取内存,单位时间能处理更多请求。

把 GPU 显存、主机内存、分布式存储做成三级缓存,进一步复用历史计算结果。

三、三家芯片厂商入局的价值

  1. 英伟达:持续优化 SGLang 在 CUDA 生态、H/B 系列 GPU 上的调度内核,提升自家显卡推理效率;
  2. AMD:完善 ROCm 适配,让 Instinct 系列 MI300/MI355 GPU 在 SGLang 上跑出更高吞吐;
  3. 英特尔:面向至强 CPU、数据级硬件做适配,支持无 GPU/CPU 推理场景优化。

三家从竞争走向合作,共同维护一套跨硬件的开源推理标准,避免各家单独做私有优化。

四、联盟合作内容

  • 每年两次路线图会议,各厂商派出技术代表参与规划;
  • 联合打磨前沿模型、推理、多模态、分布式推理的优化方案;
  • SGLang 技术决策权依旧归项目维护方,保持开源开放,所有贡献公开。

【常见问题】

问题 1:硬件一块没动,SGLang 是怎么做到吞吐翻倍的?

回答 1:不需要更换硬件,SGLang 依靠前缀缓存、混合调度、请求聚合、多级缓存这些软件优化,复用重复计算、提升 GPU 利用率,就能在原有硬件上把推理吞吐提升翻倍。

问题 2:英伟达、AMD、英特尔为什么一起入局 SGLang?

回答 2:三家芯片厂商联合入局 SGLang,是为了在同一个开源推理框架上优化自家硬件,统一跨平台推理标准,不用各自做私有适配,同时降低大模型推理成本。

问题 3:SGLang 联盟是这次成立之后,才实现硬件不动吞吐翻倍吗?

回答 3:不是,硬件不动吞吐翻倍是 SGLang 现有的软件优化能力;SGLang 联盟是本次新成立,三家厂商将持续联合优化,进一步提升不同硬件上的推理性能。

问题 4:SGLang 可以运行在哪些硬件平台上?

回答 1:SGLang 原生支持英伟达 GPU、AMD Instinct GPU、英特尔至强 CPU,同时兼容谷歌 TPU、昇腾 NPU 等硬件,跨平台统一部署,这也是三家厂商联合参与的基础。

【参考资料】

[2026-11-12](LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel, Google, Meta...)LMSYS Org

[2026-11-14](NVIDIA, AMD and Intel Establish SGLang Consortium: Joint Development for Open AI Inference)igor´sLAB

[2026-11-13](Welcome to SGLang - SGLang Documentation)SGLang 官方文档

【免责声明】

本文内容基于公开官方博客与媒体报道整理,仅作技术信息参考;吞吐提升幅度受模型、batch、业务负载影响存在差异,联盟后续技术路线以官方公告为准,本文不构成任何技术选型建议。

这篇内容属于技术行业资讯,没有对应电商实物商品,因此无法生成购物清单卡,正文内容已按要求完成。

今日大家都在搜的词: