英特尔正式和 RadixArk 达成合作,针对英特尔全系列硬件平台深度打磨开源推理框架 SGLang,所有优化代码都会同步提交到上游开源社区,让企业、开发者直接在英特尔 Xeon CPU、GPU、AI 加速器上跑大模型,充分调用 AMX 矩阵加速指令,降低推理延迟、提升并发吞吐量,不用额外做复杂适配,盘活现有数据中心服务器资源,解决企业 AI 上线慢、部署成本高、硬件资源浪费的痛点,给生产级 AI 服务提供一套开放、低成本的推理底座,不管是对话机器人、智能体、多模态模型都可以用这套方案规模化部署。
合作适配硬件与核心能力对照表
| 项目 | 详情说明 |
|---|---|
| 合作双方 | 英特尔、RadixArk(SGLang 核心开发团队) |
| 优化对象 | SGLang 开源大模型推理服务框架 |
| 适配硬件 | 英特尔 Xeon CPU、数据中心 GPU、专用 AI 加速器 |
| 核心硬件加速 | Intel AMX 高级矩阵扩展指令集 |
| 优化交付方式 | 代码并入 SGLang 上游开源主线,开发者直接拉取使用 |
| 适配模型 | 主流大语言模型、MoE 混合专家模型、多模态模型 |
| 目标场景 | 企业在线推理、智能体 Agent、批量部署、存量服务器改造 |
一、SGLang 框架本身的核心优势
- RadixAttention 前缀缓存:相同提示词前缀自动复用 KV 缓存,多轮对话、Few-shot 场景吞吐量提升明显,减少重复计算。
- 支持预填充和解码分离部署,大集群下负载拆分,更容易做分布式扩容。
- 内置推测解码、连续批处理、多种量化方案,FP8、INT8、AWQ 都支持,兼顾速度和显存占用。
- 兼容 OpenAI 接口、HuggingFace 模型,原有业务改造成本很低。
二、这次英特尔与 RadixArk 合作重点优化方向清单
- 深度适配 Xeon AMX 加速单元,把矩阵计算卸载到硬件指令,拉高 CPU 上大模型推理速度。
- 完善多 NUMA 节点并行调度,多路服务器算力分配更均衡,减少跨节点等待损耗。
- 优化 MoE 稀疏模型的内核,很多企业现在用 MoE 大模型,这部分优化可以降低稀疏推理开销。
- 统一英特尔 CPU、GPU、加速器的一套运行时,一套代码可以异构硬件混部。
- 降低上线门槛,做到 Day0 可用,新版本发布之后,开发者拿到就能直接在英特尔硬件跑通。
三、这次合作对企业用户的价值
- 盘活存量 Xeon 服务器:很多企业手里有大量闲置至强服务器,之前跑 AI 推理效率低,优化之后可以承接一部分推理流量,不用全部采购高价 GPU。
- 降低规模化推理成本:CPU+GPU 混合部署,按请求负载自动调度,减少算力浪费。
- 开放路线,没有厂商锁定:框架开源,企业可以自主二次开发,不用绑定闭源推理服务。
- 适配生产级稳定需求:重点面向企业正式上线业务,而不是只做实验室跑分。
四、需要认清的局限
- 本次是软件框架层面优化,不是发布新芯片,硬件上限由英特尔本身芯片规格决定。
- 超高并发、超大参数模型的极致性能,依然更依赖高端 GPU 集群。
- 优化效果和模型类型、量化方式、服务器配置强相关,不同业务场景提速幅度不一样。
【常见问题】
问题 1:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,SGLang 是什么工具?
回答 1:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,SGLang 是 RadixArk 团队主导开发的开源高性能大模型推理框架,主打低延迟、高吞吐,适合对话、智能体、多模态模型线上部署。
问题 2:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,英特尔和 RadixArk 优化主要用到什么硬件能力?
回答 2:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,重点调用 Xeon 处理器 AMX 高级矩阵扩展指令,同时适配英特尔 GPU、AI 加速器,实现异构算力协同推理。
问题 3:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,优化后的代码会不会单独闭源?
回答 3:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,双方约定所有优化内容都会提交到 SGLang 上游开源主线,开发者可以直接拉取开源版本使用,不会单独闭源。
问题 4:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,企业用这套方案能带来什么好处?
回答 4:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,企业可以盘活现有 Xeon 服务器,混合调度异构算力,降低 AI 推理的硬件采购成本,加快大模型上线落地速度。
问题 5:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,这套方案只能跑在英特尔 CPU 上吗?
回答 5:英特尔联合 RadixArk 深度优化 SGLang 推理框架,助力 AI 规模化落地,除了 Xeon CPU,同步适配英特尔数据中心 GPU、AI 加速器,支持 CPU+GPU 异构混部部署。
【参考资料】
[2026-11-16](英特尔携手 RadixArk,优化英特尔平台上的开源 AI 推理框架)电子工程世界
[2026-11-13](Intel, RadixArk Collaborate to Advance Open AI Inference on Intel Platforms)英特尔官网新闻稿
[2026-11-13](Intel 联合 RadixArk 优化 SGLang 推理框架:Xeon 服务器如何参与 AI 模型推理)A5 数据
[2026-11-13](Intel, RadixArk Partner to Optimize Open-Source SGLang AI Inference)Electronicsclap
[2026-06-10](SGLang HiCache 系统设计文档)SGLang 官方文档
【免责声明】
本文内容来自英特尔官方公告、行业媒体公开资讯整理,英特尔联合 RadixArk 对 SGLang 的优化效果会受服务器型号、模型结构、量化策略、业务并发量影响;本文仅为产业资讯解读,不构成服务器采购、AI 系统选型、算力项目投资的决策建议,实际性能请以自行测试为准。
