英伟达投资的一家 AI 基础设施初创企业正式发布模型工厂产品,这套系统能够跑通数千张加速卡组成的大规模集群,用来训练万亿参数 MoE 混合专家大模型。之所以要推出这款模型工厂,是因为现在万亿级 MoE 模型训练的门槛很高,普通训练框架在多卡大规模集群里很容易出现通信拥堵、负载不均衡、调度低效的问题,这家拿到英伟达投资的 AI Infra 团队,就是针对性优化集群调度、网络通信、显存分片能力,降低超大 MoE 模型的训练落地难度。使用这套模型工厂开展训练时,先完成集群硬件组网与网络调优,接着导入 MoE 模型配置、专家路由策略,再通过平台做算力切片与负载分配,启动训练任务并持续监控专家负载、通信开销,最后输出训练 checkpoint 并做推理适配。这套方案上线之后,会给想要自研超大 MoE 大模型的团队提供更轻量化的基础设施选择,但对高速互联网络、供电散热、运维能力依然有很高硬性要求,并不是随便一个机房就能直接部署。
模型工厂核心能力清单
- 集群规模:原生支持数千卡大规模 GPU 集群
- 适配模型:万亿参数 MoE 混合专家大模型
- 核心优化点:专家路由调度、跨卡通信优化、显存卸载、弹性算力调度
- 配套工具:集群监控、负载均衡、故障自动隔离、训练断点续训
- 定位:一站式 AI 训练基础设施平台,面向大模型研发团队
常规框架对比简表
| 方案 | 支持数千卡 MoE 训练 | 调度优化针对性 | 上手门槛 |
|---|---|---|---|
| 本次发布模型工厂 | ✅ | 专为 MoE 专家负载优化 | 中等,配套封装工具链 |
| 通用开源训练框架 | ⚠️ 需要大量二次改造 | 通用型,无 MoE 专属调度 | 高,需要深度二次开发 |
| 云厂商托管训练平台 | ✅ | 偏向稠密大模型 | 中等,受云资源配额限制 |
在模型工厂启动万亿 MoE 训练的实操步骤
- 确认集群硬件:GPU、高速互联网卡、存储集群就绪,完成网络基线调优
- 在模型工厂控制台录入集群节点信息,做硬件健康检测
- 上传 MoE 模型结构配置,设置专家数量、路由规则、分片策略
- 配置训练数据集、超参、检查点保存策略
- 提交任务,通过监控面板观察各专家负载、通信延迟、显存占用
- 遇到节点故障触发自动隔离,必要时从断点恢复训练
- 训练收敛后导出权重,适配推理服务框架
【相关 FAQ】
问题 1:这家英伟达投资 AI Infra 创企的模型工厂,最多能支撑多大规模 MoE 训练?
回答 1:该英伟达投资 AI Infra 创企发布的模型工厂,官方标称可以支撑数千卡集群开展万亿 MoE 大模型训练。
问题 2:使用这个模型工厂训练万亿 MoE,是不是只需要 GPU 就可以?
回答 2:使用该模型工厂训练万亿 MoE,除大量 GPU 之外,还需要配套高速互联网络、高性能存储和稳定机房供电,硬件配套门槛很高。
问题 3:这个模型工厂和普通开源训练框架在跑 MoE 时差别在哪?
回答 3:这个英伟达投资 AI Infra 创企推出的模型工厂内置 MoE 专属负载调度逻辑,相比通用开源框架,在数千卡规模下通信与负载均衡效果更好。
【参考资料】
[2026-11-20](英伟达投资 AI Infra 创企发布模型工厂,支持数千卡集群训练万亿 MoE)算力行业媒体
[2026-11-19](AI Infra 新方案:面向万亿 MoE 的大规模集群训练平台解读)AI 技术公众号
【免责声明】
本内容基于行业资讯整理,该模型工厂实际性能上限、集群稳定性、商业化授权方式以这家 AI Infra 创企官方文档为准,不代表性能承诺,不构成算力采购、大模型项目投入的投资决策依据。
