一位名叫 Nick Mermiges 的律师在 Reddit 公开了自己升级后的私有 AI 集群,目标是把法律文件全部离线处理、不上公有云,他花 9450 美元购入 12 张二手 Tesla V100 SXM2 32GB 显卡,搭配 NVLink 加 PCIe 互联,用 PP3 流水线并行 + TP4 张量并行结构、4-bit NVFP4 量化,完整跑起 DeepSeek-V4.1-Flash,全部 15360 个专家都放进显存里,单流代码生成最高到 184 token/s,单请求解码速度对比公开的 DGX Spark 方案还有优势,但这套方案也有明显短板:V100 是 Volta 老架构,原生不支持 NVFP4 硬件加速、二手卡存在老化风险、整机功耗噪音偏高、驱动和 CUDA 版本有严格限制,搭建时要拆分模型层、调试供电散热、处理跨板 PCIe 延迟,并不是拿来就能直接跑。
硬件部分
- 核心显卡:12 张二手 NVIDIA Tesla V100 SXM2,单卡 32GB HBM2,分成 3 块 4 卡基板,板内依靠 NVLink 互联,板间走 PCIe 交换机传输数据。
- 配套平台:Threadripper Pro 主板、大容量主机内存、多路独立供电,本次设置单卡功耗上限 175W、频率锁到 1452MHz 做平衡,整机峰值功耗大约 2100W,需要稳定供电和强散热。
- 采购成本:显卡整套支出 9450 美元,这是他当时入手价;目前二手 V100 市场价格已经上涨,还要额外算主板、电源、交换机、散热配件的费用。
- 硬件风险清单
- 二手数据中心卡常年满载,HBM2、供电电路有隐性老化,无官方保修。
- SXM2 基板不能直接插到普通消费级主板,需要专用底板和 PEX 交换板。
- 供电、线缆、散热没调好,容易出现掉卡、报错、烧毁接头。
软件与模型部署方案
- 模型:DeepSeek-V4.1-Flash,MoE 结构,一共 15360 个专家;之前 8 卡版本只能压缩到 2-bit 或者只加载部分专家,升级 12 卡之后全部专家都可以使用 NVFP4 4-bit 量化驻留在显存。
- 并行策略:流水线并行 PP3,张量并行 TP4;三层分别承载模型不同分段,层切分需要手动调整,避免跨板传输拖慢速度。
- 驱动与环境:Volta 架构支持范围有限,只能使用还兼容 V100 的旧版驱动、CUDA 版本,新版 PyTorch、推理框架可能不再原生适配,很多组件要源码编译。
- 性能参考(单流测试)
| 场景 | 实测速度 |
|---|---|
| 代码生成 | 153–184 token/s |
| 普通文本 | 83–95 token/s |
| 长提示预填充 | 约 4500–4700 token/s |
项目初衷和适用边界
- 初衷:律师业务要保护客户涉密法律材料,本地私有推理,文档不用上传到外部大模型服务商,用来做案卷摘要、初稿、法律文书辅助审阅,之后人工复核结果。
- 优势:预算对比全新高端 DGX 集群低很多,离线可控、数据不外流。
- 劣势:只适合少量并发单请求,多用户并发吞吐能力弱;老架构没有新卡的 FP4/FP8 硬件加速,推理靠软件模拟;维护调试工作量很大,稳定性不如全新服务器。
【相关 FAQ】
问题 1:12 张二手 V100 跑 DeepSeek-V4.1-Flash,能保证法律文件数据不上云吗?
回答 1:这套 12 张二手 V100 搭建的集群是本地离线推理,模型和计算都在自己硬件上,只要配置上关闭外网上传、做好网络隔离,法律文件不会自动发到云端,但依然要自己做好访问权限、日志管控,不能直接等同于绝对安全。
问题 2:二手 V100 跑 DeepSeek,相比全新 DGX Spark 性能是更好吗?
回答 2:只在单请求、单条生成流这个特定测试条件下,这套 12 张 V100 集群的解码速度表现更好,并发场景、批量推理、稳定性、长期持续运行能力,不能直接判定优于 DGX Spark。
问题 3:自己复刻 12 张二手 V100 集群跑 DeepSeek,最大难点是什么?
回答 3:难点集中三点:一是 SXM2 底板、NVLink、PCIe 交换板硬件适配难找,二手配件兼容性不稳定;二是 Volta 架构软件生态受限,CUDA、驱动、推理框架版本要严格匹配;三是模型并行切分、供电散热调试,很容易出现延迟高、闪退、显存报错。
问题 4:V100 没有 NVFP4 硬件支持,用 NVFP4 跑 DeepSeek 还有意义吗?
回答 4:意义主要是节省显存,让全部专家放进 12 张 V100 显存,不用压缩到更低精度牺牲效果,代价是 NVFP4 运算靠软件实现,会吃掉一部分算力。
【参考资料】
[2026-11-21](12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元)IT 之家
[2026-11-20](Lawyer’s $9,450 private AI server with 12 used Nvidia V100s now runs every DeepSeek V4.1 Flash expert)WorldNL Magazine
[2026-11-20](12 GPU Nvidia V100 Jalankan DeepSeek V4.1 Flash Penuh)Telset.id
[2026-11-17](Home AI Server Runs DeepSeek Model on 12 GPUs)Wisevoter
[2026-11-10](绝不让绝密文件出办公室!律师用二手 V100 搭建私有 AI:单卡仅 2880 元)搜狐
【免责声明】
本文内容仅为公开社区案例信息整理,不构成硬件采购、集群搭建、法律保密方案的实施建议。二手 GPU 存在故障率、兼容性、供电安全风险;本地大模型输出内容不能替代专业法律意见;模型使用需要遵守 DeepSeek 对应许可协议;不同环境下性能结果会存在差异,复刻方案前请自行评估安全、合规与成本风险。
