海外一名律师 Nick 在社区公开了自己升级后的本地 AI 集群方案,整套设备一共 12 张二手 Tesla V100 SXM2 32GB 显卡,硬件总投入 9450 美元,搭建这套集群的核心目的是把案卷、合同、证据材料全部本地离线处理,不把涉密法律文档上传到公有云大模型 API,集群采用流水线并行加张量并行组合架构,跑 DeepSeek-V4.1-Flash、NVFP4 4bit 量化版本,最高推理吞吐量可以达到每秒 184 词元,兼顾法律 RAG 检索、长文档审阅、文书初稿生成,同时用二手服务器显卡把自建算力成本压到很低。
一、集群硬件与组网配置明细
这套集群延续他之前 8 卡 V100 的底板方案,扩容到 12 张卡,分成 3 组,每组 4 张 V100。
| 硬件项目 | 规格参数 | 通信方式 |
|---|---|---|
| GPU | 12× 二手 V100 SXM2,单卡 32GB HBM2 显存 | 同底板 4 卡 NVLink 互联,底板之间走 PCIe 交换 |
| 并行架构 | PP3 流水线并行 × TP4 张量并行 | 分 3 个流水线阶段,每阶段 4 卡协同 |
| 主机平台 | Threadripper Pro 平台,大容量 DDR4 内存 | 负责调度、文档预处理、RAG 向量库 |
| 供电设置 | 单卡功耗上限调到 175W,基准 150W | 多回路供电,规避家用线路过载 |
| 散热 | 服务器涡轮风冷底板 | 噪音高,适合独立机房、储物间放置 |
12 张卡合计显存 384GB,刚好可以完整容纳 DeepSeek-V4.1-Flash 全部 15360 个专家模块,不需要进一步压低量化精度,模型效果更贴近官方原版,之前 8 卡版本必须压缩精度才能放下全部专家。
二、这套集群主要业务用途
- 法律长文档解析:案件卷宗、合同、判例、证据材料批量导入,长文本一次性检索、摘要、条款比对,128K 上下文文档读取耗时大约 28 秒。
- 私有 RAG 知识库:本地搭建向量库,存入判例、法条、过往案件资料,所有数据不出本地硬件,规避客户案件信息泄露风险,也是律师自建集群最核心诉求。
- 文书辅助生成:起诉状、质证意见、法律备忘录初稿生成,批量初稿后人工复核,替代大部分云端 API 调用。
- 批量测试、模型实验:可以测试不同量化方案、提示词模板,不用持续消耗云端 token 费用。
三、二手 V100 集群的优势
- 成本优势:相比全新 H100、H200,二手 V100 硬件采购成本极低,适合个人专业人士、小型工作室自建离线算力。
- 显存容量充足:32GB HBM2 显存带宽高,Volta 架构带 Tensor Core,适合量化后的大模型推理任务。
- 数据完全本地化:不需要联网调用第三方 AI 接口,法律涉密材料不会上传外网,符合隐私保密需求。
四、明显短板和踩坑点
- V100 原生不支持 NVFP4 硬件加速,4bit 量化的解码运算全部靠软件解压,纯推理算力上限不如新一代显卡。
- SXM2 底板、NVLink 背板属于冷门二手配件,货源不稳定,配件坏了很难快速替换。
- 功耗、噪音偏高,12 卡满载供电压力大,普通家用插座容易跳闸,涡轮风扇噪音大,不适合放在办公室、卧室。
- 只适合推理,不适合大模型全参数训练,V100 架构老旧,训练效率很低。
- 二手卡有暗病风险,长期 7×24 小时运行,显存、供电故障概率高于全新卡。
五、整体总结
这个项目不是商用算力集群,属于个人专业场景的低成本离线 AI 方案,这名律师用 12 张二手 V100 平衡了算力、显存、保密需求和预算,证明二手数据中心 GPU 依然可以支撑 MoE 大模型本地推理;但它属于爱好者向的改装方案,有供电、噪音、配件维护等现实门槛,并不适合普通用户直接照搬搭建。
【相关 FAQ】
问题 1、律师 12 张二手 V100 自建 AI 集群,主要是用来做什么业务?
回答 1、律师 12 张二手 V100 自建 AI 集群主要用于法律卷宗、合同、判例离线处理,搭建私有法律 RAG 知识库、长文档审阅、法律文书初稿生成,核心目的是案件材料不上公有云,保护客户案件隐私。
问题 2、这套 12 张二手 V100 AI 集群为什么分成 3 组 4 卡搭配 NVLink?
回答 2、这套 12 张二手 V100 AI 集群采用 PP3×TP4 并行方案,每组 4 卡通过 NVLink 高速互联,底板之间走 PCIe 通信,4 卡一组是 V100 SXM2 原生 NVLink 底板标准形态,方便分配模型专家分片,提升 MoE 模型推理效率。
问题 3、二手 V100 搭建 AI 集群能不能用来训练大模型?
回答 3、律师这套 12 张二手 V100 AI 集群定位是推理集群,V100 架构老旧,适合跑量化后的大模型推理,并不适合大模型全参数训练,训练任务效率很低。
问题 4、12 张二手 V100 AI 集群本地跑 DeepSeek,相比云端 API 有什么缺点?
回答 4、12 张二手 V100 AI 集群 V100 没有原生 NVFP4 硬件加速,靠软件解码,推理速度上限有限;同时二手硬件故障率高、噪音大、供电要求高,硬件维护成本和调试工作量远高于直接调用云端 API。
【参考资料】
[2026-11-21](12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元)新浪科技
[2026-11-21](12 张二手 V100:律师自建私有 AI 服务器,离线处理法律文档)IT 之家
[2026-11-20](Lawyer upgrades to 12 used V100 for local DeepSeek MoE inference)Tom's Hardware
[2026-11-10](律师 8 张二手 V100 搭建私有 AI 服务器,卷宗本地离线 AI 处理)网易订阅
【免责声明】
本文为律师 12 张二手 V100 自建 AI 集群项目资讯解读,二手 GPU 硬件存在老化、暗病风险,SXM2 底板、NVLink 配件属于小众配件;集群功耗高、用电改造存在安全隐患,不建议无服务器运维经验的个人直接复刻;模型性能、吞吐量数据为作者自测结果,受量化方式、提示词、负载影响,不代表同等硬件一定能复现对应性能;本内容不构成硬件采购、自建服务器的指导建议。
