您的位置首页 >人工智能 >

英伟达投资 AI Infra 创企推出模型工厂,可支撑数千卡集群训练万亿 MoE 大模型

英伟达投资的一家 AI 基础设施初创企业正式发布模型工厂产品,这套系统能够跑通数千张加速卡组成的大规模集群,用来训练万亿参数 MoE 混合专家大模型。之所以要推出这款模型工厂,是因为现在万亿级 MoE 模型训练的门槛很高,普通训练框架在多卡大规模集群里很容易出现通信拥堵、负载不均衡、调度低效的问题,这家拿到英伟达投资的 AI Infra 团队,就是针对性优化集群调度、网络通信、显存分片能力,降低超大 MoE 模型的训练落地难度。使用这套模型工厂开展训练时,先完成集群硬件组网与网络调优,接着导入 MoE 模型配置、专家路由策略,再通过平台做算力切片与负载分配,启动训练任务并持续监控专家负载、通信开销,最后输出训练 checkpoint 并做推理适配。这套方案上线之后,会给想要自研超大 MoE 大模型的团队提供更轻量化的基础设施选择,但对高速互联网络、供电散热、运维能力依然有很高硬性要求,并不是随便一个机房就能直接部署。

模型工厂核心能力清单

  • 集群规模:原生支持数千卡大规模 GPU 集群
  • 适配模型:万亿参数 MoE 混合专家大模型
  • 核心优化点:专家路由调度、跨卡通信优化、显存卸载、弹性算力调度
  • 配套工具:集群监控、负载均衡、故障自动隔离、训练断点续训
  • 定位:一站式 AI 训练基础设施平台,面向大模型研发团队

常规框架对比简表

方案支持数千卡 MoE 训练调度优化针对性上手门槛
本次发布模型工厂✅专为 MoE 专家负载优化中等,配套封装工具链
通用开源训练框架⚠️ 需要大量二次改造通用型,无 MoE 专属调度高,需要深度二次开发
云厂商托管训练平台✅偏向稠密大模型中等,受云资源配额限制

在模型工厂启动万亿 MoE 训练的实操步骤

  1. 确认集群硬件:GPU、高速互联网卡、存储集群就绪,完成网络基线调优
  2. 在模型工厂控制台录入集群节点信息,做硬件健康检测
  3. 上传 MoE 模型结构配置,设置专家数量、路由规则、分片策略
  4. 配置训练数据集、超参、检查点保存策略
  5. 提交任务,通过监控面板观察各专家负载、通信延迟、显存占用
  6. 遇到节点故障触发自动隔离,必要时从断点恢复训练
  7. 训练收敛后导出权重,适配推理服务框架

【相关 FAQ】

问题 1:这家英伟达投资 AI Infra 创企的模型工厂,最多能支撑多大规模 MoE 训练?

回答 1:该英伟达投资 AI Infra 创企发布的模型工厂,官方标称可以支撑数千卡集群开展万亿 MoE 大模型训练。

问题 2:使用这个模型工厂训练万亿 MoE,是不是只需要 GPU 就可以?

回答 2:使用该模型工厂训练万亿 MoE,除大量 GPU 之外,还需要配套高速互联网络、高性能存储和稳定机房供电,硬件配套门槛很高。

问题 3:这个模型工厂和普通开源训练框架在跑 MoE 时差别在哪?

回答 3:这个英伟达投资 AI Infra 创企推出的模型工厂内置 MoE 专属负载调度逻辑,相比通用开源框架,在数千卡规模下通信与负载均衡效果更好。

【参考资料】

[2026-11-20](英伟达投资 AI Infra 创企发布模型工厂,支持数千卡集群训练万亿 MoE)算力行业媒体

[2026-11-19](AI Infra 新方案:面向万亿 MoE 的大规模集群训练平台解读)AI 技术公众号

【免责声明】

本内容基于行业资讯整理,该模型工厂实际性能上限、集群稳定性、商业化授权方式以这家 AI Infra 创企官方文档为准,不代表性能承诺,不构成算力采购、大模型项目投入的投资决策依据。

今日大家都在搜的词: