您的位置首页 >科技要闻 >

网友不到 7 万拼出 GH200,再拿 8 台 DGX Spark 当内存

我先联网查这位网友用 8 台 DGX Spark 拼 GH200 的方案细节。

我再找一下英文媒体对这套 DIY 集群的报道,补充细节。

一位 Reddit 网友用约 4 个月时间、不到 1 万美元(约合人民币 6.67 万元),从 eBay 等二手渠道凑齐零件,把一颗英伟达 GH200 超级芯片拼成了一台能开机、能跑模型的计算设备;随后他又接入 8 台 DGX Spark,把整机内存扩到约 1500GB,还计划几周内装第二台 GH200。这件事最有意思的地方有两层:一是 "服务器级芯片也能在自家桌上点亮",最难的部分是拿到带 BMC 的计算托盘,让它通过自检,钱反而不是最难的部分;二是 "用 8 台小机器给一台大机器当内存",绕过单机内存上限去装载更大的模型。不过得先把标题里那句话校正一下 ——1 万美元(不到 7 万元)指的是 GH200 那一台的成本,8 台 DGX Spark 是另外买的,整机总花费远不止这个数。

一、先把 "不到 7 万" 这笔账算清楚

组成报道口径说明
GH200 计算设备不到 1 万美元(约 6.67 万元人民币)含二手 GH200 ES 芯片、开发板、Ranger Compute Tray 计算托盘、散热与供电等
8 台 DGX Spark额外采购,未计入上述 1 万美元单台公开零售价在数千美元量级,8 台合计明显高于 GH200 本体
交换机2 台 MikroTik分别提供 400Gbps 与 200Gbps 互联
时间成本约 4 个月大量硬件探测与逆向工程

什么值得买社区频道所以严格说,"不到 7 万拿下 GH200" 成立,"不到 7 万拿下这套 1.5TB 集群" 不成立。标题里的 "7 万" 是个很聪明的说法:它抓的是最刺激的那部分成本,而真正撑起 1.5TB 内存的 8 台 DGX Spark,是另一笔账。

二、这套机器由什么拼成

层级配置作用
计算核心1 颗 GH200 Grace Hopper 超级芯片(ES 工程样品)承担主要计算
芯片本体规格72 核 Grace(Arm Neoverse V2)+ Hopper GPU(96GB HBM3,4TB/s);Grace 侧最高 480GB LPDDR5X,带宽最高 500GB/s;CPU-GPU 通过 NVLink-C2C 互联,带宽最高 900GB/s单芯片内 CPU 与 GPU 共享一致内存空间
单机内存报道称约 500GB 高速一致性内存支撑大模型驻留与高速访问
扩展内存8×DGX Spark,每台 128GB 统一内存,合计约 1TB扩大模型载入规模
网络2 台 MikroTik 交换机,400Gbps + 200Gbps把 9 台设备拉进同一网络架构
总内存约 1500GB(聚合口径)不是单一内存池,是跨节点的总量

NVIDIADGX Spark 本身是 GB10 Grace Blackwell 超级芯片、20 核 Arm CPU、FP4 精度下 1 PFLOP 的桌面级 AI 主机,官方配置 128GB 统一内存、ConnectX-7 200Gbps 网卡。8 台加起来正好 1TB,和 GH200 的 500GB 相加,就凑出了 "1500GB" 这个数字。

三、四个月里真正难的三件事

  1. 买到芯片容易,买到 "能开机" 的整套方案难。 他在 eBay 上找到了 GH200 工程样品芯片和开发板,但只有芯片加主板并不够,缺配套部件就点不亮。
  2. 自检卡在 BMC。 GH200 这类服务器级芯片需要专用基板管理控制器(BMC)做电源管理与硬件监控,他买到的原始开发板一度过不了自检(POST)。
  3. 靠计算托盘破局。 最后通过特殊渠道拿到一套名为 Ranger Compute Tray 的计算托盘,借它的板载 BMC 才把芯片点亮。

什么值得买社区频道这三步说明了一件事:二手服务器硬件的门槛不在价格,而在 "生态完整性"。你可以很便宜买到芯片,但没有 BMC、没有固件、没有配套托盘的芯片,就是一块昂贵的硅片。

四、为什么能拿 DGX Spark 当 "内存"

三个前提同时成立,这个玩法才跑得通:

  • 都是统一内存架构。 GH200 的 Grace CPU 与 Hopper GPU 通过 NVLink-C2C 共享一致内存空间;DGX Spark 的 128GB 也是 CPU/GPU 共享。这让 "内存" 在两端都不是 "显存 + 内存" 两份账,扩展起来更顺。
  • 都支持高速以太 / RoCE 互联。 DGX Spark 自带 ConnectX-7 200Gbps,用 MikroTik 的 400G/200G 交换机可以搭出高带宽、低延迟的东西向网络,把多台机器的内存 "连起来用"。
  • 同一套 CUDA 软件栈。 两端都是英伟达生态,张量并行、分布式推理、KV Cache 分片这些机制可以直接复用,不用自己造轮子。

但这里有个必须说清的限制:这是 "聚合内存",不是 "统一内存池"。 8 台 DGX Spark 的 1TB 是分散在 8 个节点上的,跨节点访问要过网络,带宽和延迟跟 GH200 机内的 NVLink-C2C(900GB/s)完全不是一个量级。所以它适合 "把大模型装进去",不适合 "把大模型当本地显存随便读写"。

另外值得一提:英伟达官方对 DGX Spark 的集群支持上限是 4 台(4×128GB=512GB,可跑约 7000 亿参数模型),这位网友用 8 台,已经超出官方推荐规模,属于自己搭的 "超规格" 方案。

五、和一台真正的 GH200 超算差在哪

维度单台 GH200这套 DIY 集群
内存一致性机内 NVLink-C2C,900GB/s,真正的单一内存空间跨节点聚合,靠以太网,带宽与延迟差一个量级
内存容量约 500GB(480GB LPDDR5X + 96GB HBM3)约 1500GB(聚合)
算力一颗 Hopper GPU + 72 核 Grace一颗 Hopper + 8 颗 GB10(FP4 各 1 PFLOP 级)
适用负载大模型训练 / 推理、HPC家庭级训练与推理、长上下文、多机并行实验
可靠性服务器级供电、散热、BMC 管理桌面级设备 + 二手件,无原厂保修
成本新机价格极高GH200 侧不到 1 万美元,DGX Spark 另计

NVIDIA一句话:它买到的是 "GH200 的算力入口",不是 "GH200 超算的性能"。容量靠堆,带宽靠不了堆。

六、这套玩法的现实风险

  • ES 件没有保修。 工程样品芯片不面向零售,出问题基本只能自己扛,也没有官方固件支持。
  • BMC 与固件是黑盒。 靠第三方计算托盘点亮,意味着监控、风扇曲线、功耗墙都得自己摸,稳定性全看个人调试功力。
  • 电力与散热。 GH200 是服务器级功耗,加上 8 台 DGX Spark,长时间满载的电费与散热压力都不小。
  • 跨节点扩展效率。 8 台机器拼内存,通信开销会吃掉一部分收益,模型切分不当反而更慢。
  • 合规与转售。 工程样品来源不明,二手件转售、商用都需谨慎。

七、为什么这类 DIY 值得关注

  1. 它证明了 "大内存" 不再是云厂商专属。 一台二手 GH200 加几台桌面 AI 主机,就能在家装下千亿参数级模型的运行环境。
  2. 它暴露了二手算力市场的真实水位。 GH200 的 ES 芯片、计算托盘已经流到 eBay,说明上一代服务器硬件正在加速下沉。
  3. 它给出了一个 "容量优先" 的思路。 当算力买不起时,先用便宜节点堆内存、把模型装进去,是很多小团队现实的选择。

八、结论:容量可以拼,带宽拼不了

这位网友干成的事,本质是用四个月时间和不到 1 万美元,换来一张 "服务器级算力的入场券",再用 8 台 DGX Spark 把内存凑到 1.5TB。技术上站得住,成本上也有吸引力,但要看清它的边界:拼出来的是容量和可用性,拼不出来的是 GH200 机内那 900GB/s 的一致性带宽。对个人和小团队,这套方案值的是 "能跑起来";对要跑大规模训练的团队,它替代不了真机。至于标题里 "不到 7 万"—— 那只是半张账单。

【常见问题】

问题 1:网友手搓的 GH200 真的不到 7 万元吗?

回答 1:不到 7 万元指的是 GH200 那一台设备的成本(不到 1 万美元),包含二手 ES 芯片、开发板与 Ranger Compute Tray 计算托盘。8 台 DGX Spark 是后续另外采购的,单台数千美元,因此整套 1.5TB 内存集群的总花费远高于 7 万元。

问题 2:为什么 GH200 拼好了却点不亮,问题出在哪?

回答 2:GH200 是服务器级芯片,需要专用基板管理控制器(BMC)做电源管理与硬件监控,普通开发板过不了自检就无法启动。这位网友最终通过一套 Ranger Compute Tray 计算托盘的板载 BMC 才成功点亮,说明二手服务器硬件的真正门槛是配套生态,不是芯片本身。

问题 3:8 台 DGX Spark 给 GH200 当内存,这个内存是统一内存吗?

回答 3:不是严格意义上的统一内存。GH200 机内是 NVLink-C2C 连接的一致性内存空间(最高 900GB/s),而 8 台 DGX Spark 各 128GB 是通过 400G/200G 以太网聚合起来的分布式内存,跨节点访问要过网络,带宽和延迟都低一个量级。所以 1500GB 是 "总内存",不是 "单一内存池"。

问题 4:这套 GH200 加 8 台 DGX Spark 的集群,能替代真正的 GH200 超算吗?

回答 4:不能。它买到的是 GH200 的算力入口和 1.5TB 的聚合内存容量,适合家庭级模型训练、长上下文推理和多机并行实验;但真正的 GH200 超算依靠机内 NVLink 与 NVLink Switch 提供高带宽一致性互联,跨节点扩展效率、可靠性和管理能力都不是桌面设备加二手件能比的。

【参考资料】

  • [2026-11-16](不到 7 万拿下!网友手搓 GH200 超算:8 台 DGX Spark 当内存)快科技
  • [2026-11-16](不到 7 万拿下!网友手搓 GH200 超算:8 台 DGX Spark 当内存)什么值得买
  • [2026-11-16](快科技官方微博:网友手搓 GH200 超算)微博
  • [2025-05-27](Advanced Optimization Strategies for LLM Training on NVIDIA Grace Hopper)NVIDIA Technical Blog
  • [2023-06-26](NVIDIA DGX GH200: A Game Changer for Generative AI)StorageReview

【免责声明】

本文基于公开报道与厂商公开规格整理,仅供技术交流与信息参考,不构成购买、投资或技术选型建议。文中 DIY 项目的成本、配置与进展来自 Reddit 网友自述及媒体转述,未经独立核实;二手工程样品(ES)硬件的来源、合法性与可靠性存在不确定性,自行组装服务器级设备有损坏硬件与安全风险。相关规格以英伟达官方文档为准。

今日大家都在搜的词: