英伟达针对 DGX Spark 硬件平台完成 Ling MoE 大模型推理优化,优化之后推理吞吐相比基线版本提升 42.5%,这套优化主要针对 MoE 模型固有的专家路由负载不均、通信开销大、显存访问碎片化这些痛点,DGX Spark 本身是面向大模型推理和服务的高性能算力集群,Ling MoE 作为稀疏激活的混合专家模型,推理时专家调度、跨卡数据搬运很容易拖慢整体速度,单纯靠堆显卡很难拿到理想收益。本次优化从路由调度、显存排布、算子融合、通信协议几个方向一起调整,先采集 Ling MoE 推理的负载分布数据,识别热点专家,再调整路由策略、重构算子执行顺序,搭配 DGX Spark 硬件的互联特性做通信优化,最后完成多组对比压测,验证拿到 42.5% 的吞吐提升效果,能直接降低 Ling MoE 在 DGX Spark 上的推理单 Token 成本,提升集群并发承载能力。
本次优化针对的核心痛点清单
- Ling MoE 推理路由不均衡,部分专家被频繁调用,造成单卡负载倾斜
- 专家之间跨卡通信频繁,在 DGX Spark 集群里通信延迟挤占计算时间
- 算子执行碎片化,大量小算子反复启动,GPU 利用率上不去
- 显存分配零散,频繁的显存申请释放带来额外开销,限制并发规模
优化实施关键步骤清单
- 在 DGX Spark 环境采集 Ling MoE 真实推理流量,统计专家调用频次、负载分布
- 调整 Ling MoE 路由调度策略,做负载均衡,打散热点专家请求
- 对 Ling MoE 推理链路算子做融合,减少核启动开销,适配 DGX Spark GPU 特性
- 优化跨卡通信逻辑,匹配 DGX Spark 高速互联通道,降低数据搬运耗时
- 重构显存布局,优化专家权重缓存策略,减少重复加载权重
- 基线对照压测,固定输入长度、并发规模,统计吞吐、时延,确认提升幅度
优化效果指标对比
| 指标 | 基线版本 | 优化后版本 | 变化 |
|---|---|---|---|
| 推理吞吐 | 基准值 | 基准 + 42.5% | 提升 42.5% |
| P99 推理时延 | 原有时延 | 小幅下降 | 时延同步优化 |
| GPU 利用率 | 偏低 | 明显抬升 | 算力资源利用更充分 |
【常见问题】
问题 1:英伟达在 DGX Spark 上优化 Ling MoE 推理,吞吐提升 42.5% 主要靠哪些手段?
回答 1:英伟达在 DGX Spark 上优化 Ling MoE 推理,吞吐提升 42.5% 主要依靠路由负载均衡、算子融合、适配 DGX Spark 高速互联的通信优化、专家权重显存缓存调整这几项手段,解决 MoE 负载不均和通信开销大的问题。
问题 2:Ling MoE 在 DGX Spark 经过本次优化之后,推理时延会不会同步变差?
回答 2:本次英伟达针对 DGX Spark 做 Ling MoE 推理优化,在吞吐提升 42.5% 的同时,P99 时延还有小幅优化,不会出现吞吐上涨、时延明显恶化的情况,适合线上推理服务。
问题 3:DGX Spark 上这套 Ling MoE 推理优化方案,能不能直接迁移到其他 GPU 服务器?
回答 3:这套针对 DGX Spark 的 Ling MoE 推理优化方案深度适配 DGX Spark 硬件互联架构,部分通信、调度策略无法直接迁移,在其他 GPU 机器上无法稳定拿到 42.5% 的吞吐提升。
问题 4:Ling MoE 属于 MoE 稀疏模型,为什么在 DGX Spark 上推理优化难度比稠密大模型更高?
回答 4:Ling MoE 作为 MoE 稀疏模型,推理时存在专家路由、动态跨卡分发请求的特点,负载波动大、通信不可控,而 DGX Spark 的硬件优势需要配套调度策略才能发挥,所以相比稠密模型,Ling MoE 推理优化难度更高。
【数据来源】
[2026-11-04](英伟达优化 DGX Spark 上 Ling MoE 推理,吞吐提升 42.5%)AI 算力资讯
[2026-11-02](DGX Spark 集群 MoE 大模型推理优化实践)GPU 技术社区
[2026-10-30](Ling MoE 稀疏模型推理负载均衡与通信优化方案)大模型技术论坛
【免责声明】
本文为英伟达 DGX Spark、Ling MoE 推理优化相关技术资讯整理,42.5% 吞吐提升是特定测试环境下的测试结果,实际业务吞吐受输入序列长度、并发配置、路由分布影响,最终性能、适配能力以英伟达官方技术文档和实测为准,不构成算力采购、模型部署的决策依据。
