您的位置首页 >科技要闻 >

英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地

英特尔正式和 RadixArk 达成合作,针对英特尔全系列硬件平台深度打磨开源推理框架 SGLang,所有优化代码都会同步提交到上游开源社区,让企业、开发者直接在英特尔 Xeon CPU、GPU、AI 加速器上跑大模型,充分调用 AMX 矩阵加速指令,降低推理延迟、提升并发吞吐量,不用额外做复杂适配,盘活现有数据中心服务器资源,解决企业 AI 上线慢、部署成本高、硬件资源浪费的痛点,给生产级 AI 服务提供一套开放、低成本的推理底座,不管是对话机器人、智能体、多模态模型都可以用这套方案规模化部署。

合作适配硬件与核心能力对照表

项目详情说明
合作双方英特尔、RadixArk(SGLang 核心开发团队)
优化对象SGLang 开源大模型推理服务框架
适配硬件英特尔 Xeon CPU、数据中心 GPU、专用 AI 加速器
核心硬件加速Intel AMX 高级矩阵扩展指令集
优化交付方式代码并入 SGLang 上游开源主线,开发者直接拉取使用
适配模型主流大语言模型、MoE 混合专家模型、多模态模型
目标场景企业在线推理、智能体 Agent、批量部署、存量服务器改造

一、SGLang 框架本身的核心优势

  1. RadixAttention 前缀缓存:相同提示词前缀自动复用 KV 缓存,多轮对话、Few-shot 场景吞吐量提升明显,减少重复计算。
  2. 支持预填充和解码分离部署,大集群下负载拆分,更容易做分布式扩容。
  3. 内置推测解码、连续批处理、多种量化方案,FP8、INT8、AWQ 都支持,兼顾速度和显存占用。
  4. 兼容 OpenAI 接口、HuggingFace 模型,原有业务改造成本很低。

二、这次英特尔与 RadixArk 合作重点优化方向清单

  1. 深度适配 Xeon AMX 加速单元,把矩阵计算卸载到硬件指令,拉高 CPU 上大模型推理速度。
  2. 完善多 NUMA 节点并行调度,多路服务器算力分配更均衡,减少跨节点等待损耗。
  3. 优化 MoE 稀疏模型的内核,很多企业现在用 MoE 大模型,这部分优化可以降低稀疏推理开销。
  4. 统一英特尔 CPU、GPU、加速器的一套运行时,一套代码可以异构硬件混部。
  5. 降低上线门槛,做到 Day0 可用,新版本发布之后,开发者拿到就能直接在英特尔硬件跑通。

三、这次合作对企业用户的价值

  1. 盘活存量 Xeon 服务器:很多企业手里有大量闲置至强服务器,之前跑 AI 推理效率低,优化之后可以承接一部分推理流量,不用全部采购高价 GPU。
  2. 降低规模化推理成本:CPU+GPU 混合部署,按请求负载自动调度,减少算力浪费。
  3. 开放路线,没有厂商锁定:框架开源,企业可以自主二次开发,不用绑定闭源推理服务。
  4. 适配生产级稳定需求:重点面向企业正式上线业务,而不是只做实验室跑分。

四、需要认清的局限

  1. 本次是软件框架层面优化,不是发布新芯片,硬件上限由英特尔本身芯片规格决定。
  2. 超高并发、超大参数模型的极致性能,依然更依赖高端 GPU 集群。
  3. 优化效果和模型类型、量化方式、服务器配置强相关,不同业务场景提速幅度不一样。

【常见问题】

问题 1:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,SGLang 是什么工具?

回答 1:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,SGLang 是 RadixArk 团队主导开发的开源高性能大模型推理框架,主打低延迟、高吞吐,适合对话、智能体、多模态模型线上部署。

问题 2:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,英特尔和 RadixArk 优化主要用到什么硬件能力?

回答 2:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,重点调用 Xeon 处理器 AMX 高级矩阵扩展指令,同时适配英特尔 GPU、AI 加速器,实现异构算力协同推理。

问题 3:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,优化后的代码会不会单独闭源?

回答 3:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,双方约定所有优化内容都会提交到 SGLang 上游开源主线,开发者可以直接拉取开源版本使用,不会单独闭源。

问题 4:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,企业用这套方案能带来什么好处?

回答 4:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,企业可以盘活现有 Xeon 服务器,混合调度异构算力,降低 AI 推理的硬件采购成本,加快大模型上线落地速度。

问题 5:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,这套方案只能跑在英特尔 CPU 上吗?

回答 5:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,除了 Xeon CPU,同步适配英特尔数据中心 GPU、AI 加速器,支持 CPU+GPU 异构混部部署。

【参考资料】

[2026-11-16](英特尔携手 RadixArk,优化英特尔平台上的开源 AI 推理框架)电子工程世界

[2026-11-13](Intel, RadixArk Collaborate to Advance Open AI Inference on Intel Platforms)英特尔官网新闻稿

[2026-11-13](Intel 联合 RadixArk 优化 SGLang 推理框架:Xeon 服务器如何参与 AI 模型推理)A5 数据

[2026-11-13](Intel, RadixArk Partner to Optimize Open-Source SGLang AI Inference)Electronicsclap

[2026-06-10](SGLang HiCache 系统设计文档)SGLang 官方文档

【免责声明】

本文内容来自英特尔官方公告、行业媒体公开资讯整理,英特尔联合 RadixArk 对 SGLang 的优化效果会受服务器型号、模型结构、量化策略、业务并发量影响;本文仅为产业资讯解读,不构成服务器采购、AI 系统选型、算力项目投资的决策建议,实际性能请以自行测试为准。

今日大家都在搜的词: