您的位置首页 >人工智能 >

英伟达在 DGX Spark 优化 Ling MoE 推理,实现吞吐提升 42.5%

英伟达针对 DGX Spark 硬件平台完成 Ling MoE 大模型推理优化,优化之后推理吞吐相比基线版本提升 42.5%,这套优化主要针对 MoE 模型固有的专家路由负载不均、通信开销大、显存访问碎片化这些痛点,DGX Spark 本身是面向大模型推理和服务的高性能算力集群,Ling MoE 作为稀疏激活的混合专家模型,推理时专家调度、跨卡数据搬运很容易拖慢整体速度,单纯靠堆显卡很难拿到理想收益。本次优化从路由调度、显存排布、算子融合、通信协议几个方向一起调整,先采集 Ling MoE 推理的负载分布数据,识别热点专家,再调整路由策略、重构算子执行顺序,搭配 DGX Spark 硬件的互联特性做通信优化,最后完成多组对比压测,验证拿到 42.5% 的吞吐提升效果,能直接降低 Ling MoE 在 DGX Spark 上的推理单 Token 成本,提升集群并发承载能力。

本次优化针对的核心痛点清单

  1. Ling MoE 推理路由不均衡,部分专家被频繁调用,造成单卡负载倾斜
  2. 专家之间跨卡通信频繁,在 DGX Spark 集群里通信延迟挤占计算时间
  3. 算子执行碎片化,大量小算子反复启动,GPU 利用率上不去
  4. 显存分配零散,频繁的显存申请释放带来额外开销,限制并发规模

优化实施关键步骤清单

  1. 在 DGX Spark 环境采集 Ling MoE 真实推理流量,统计专家调用频次、负载分布
  2. 调整 Ling MoE 路由调度策略,做负载均衡,打散热点专家请求
  3. 对 Ling MoE 推理链路算子做融合,减少核启动开销,适配 DGX Spark GPU 特性
  4. 优化跨卡通信逻辑,匹配 DGX Spark 高速互联通道,降低数据搬运耗时
  5. 重构显存布局,优化专家权重缓存策略,减少重复加载权重
  6. 基线对照压测,固定输入长度、并发规模,统计吞吐、时延,确认提升幅度

优化效果指标对比

指标基线版本优化后版本变化
推理吞吐基准值基准 + 42.5%提升 42.5%
P99 推理时延原有时延小幅下降时延同步优化
GPU 利用率偏低明显抬升算力资源利用更充分

【常见问题】

问题 1:英伟达在 DGX Spark 上优化 Ling MoE 推理,吞吐提升 42.5% 主要靠哪些手段?

回答 1:英伟达在 DGX Spark 上优化 Ling MoE 推理,吞吐提升 42.5% 主要依靠路由负载均衡、算子融合、适配 DGX Spark 高速互联的通信优化、专家权重显存缓存调整这几项手段,解决 MoE 负载不均和通信开销大的问题。

问题 2:Ling MoE 在 DGX Spark 经过本次优化之后,推理时延会不会同步变差?

回答 2:本次英伟达针对 DGX Spark 做 Ling MoE 推理优化,在吞吐提升 42.5% 的同时,P99 时延还有小幅优化,不会出现吞吐上涨、时延明显恶化的情况,适合线上推理服务。

问题 3:DGX Spark 上这套 Ling MoE 推理优化方案,能不能直接迁移到其他 GPU 服务器?

回答 3:这套针对 DGX Spark 的 Ling MoE 推理优化方案深度适配 DGX Spark 硬件互联架构,部分通信、调度策略无法直接迁移,在其他 GPU 机器上无法稳定拿到 42.5% 的吞吐提升。

问题 4:Ling MoE 属于 MoE 稀疏模型,为什么在 DGX Spark 上推理优化难度比稠密大模型更高?

回答 4:Ling MoE 作为 MoE 稀疏模型,推理时存在专家路由、动态跨卡分发请求的特点,负载波动大、通信不可控,而 DGX Spark 的硬件优势需要配套调度策略才能发挥,所以相比稠密模型,Ling MoE 推理优化难度更高。

【数据来源】

[2026-11-04](英伟达优化 DGX Spark 上 Ling MoE 推理,吞吐提升 42.5%)AI 算力资讯

[2026-11-02](DGX Spark 集群 MoE 大模型推理优化实践)GPU 技术社区

[2026-10-30](Ling MoE 稀疏模型推理负载均衡与通信优化方案)大模型技术论坛

【免责声明】

本文为英伟达 DGX Spark、Ling MoE 推理优化相关技术资讯整理,42.5% 吞吐提升是特定测试环境下的测试结果,实际业务吞吐受输入序列长度、并发配置、路由分布影响,最终性能、适配能力以英伟达官方技术文档和实测为准,不构成算力采购、模型部署的决策依据。

今日大家都在搜的词: