技术爱好者在 Reddit 社区放出实测案例，在完全不搭载 GPU 显卡的 40 核第三代至强老旧服务器上，成功跑通 2.8 万亿参数的 Kimi K3 混合专家大模型，整套方案的核心就是已经停产的傲腾持久内存 200 系列，这套方案可以用更低的成本拿到几百 GB 的超大内存空间，解决超大模型权重放不下的难题，但它只是技术验证，推理速度很慢，并不适合日常流畅使用。Kimi K3 属于 MoE 混合专家模型，总参数 2.8 万亿，推理时每个 token 只会激活约 1040 亿参数，就算做 1bit 极致量化，也需要 610GB 以上的内存空间，普通 DDR 服务器内存想堆到这个容量成本极高，二手傲腾持久内存单条最高 512GB，单位容量价格远低于传统服务器内存，刚好适配这台老至强平台，再搭配 llama.cpp 框架，就能完成模型加载和推理。
一、整套测试硬件与软件清单
硬件清单
- CPU：40 核第三代英特尔至强可扩展处理器
- 核心内存：傲腾持久内存 200 系列（PMem 200，Barlow Pass）
- 显卡：无，全程 CPU 推理
- 平台：适配第三代至强的服务器主板
- 推理框架：llama.cpp
- 傲腾配置：App Direct 模式，搭配 DAX 直接访问
- 模型版本：Kimi K3，1bit/3bit 量化版本
软件清单
二、傲腾内存为什么能成为这个方案的破局点
- 超大单条容量：单条最高 512GB，同平台可以轻松凑出几百 GB 到 TB 级内存空间，满足 Kimi K3 量化后的权重存放需求
- 字节寻址特性：和普通 SSD 不一样，傲腾走内存通道，可以像内存一样直接寻址，不是传统块存储，llama.cpp 可以直接内存映射读取模型权重
- 二手性价比高：该产品已经停产，二手流通价格低，相比同容量 DDR4 服务器内存，投入少很多
- 适配老平台：原生支持第三代至强平台，不用更换主板、CPU，直接复用老旧服务器
三、不同量化档位实测性能对比
| 测试配置 | DAX 直接访问 | 生成速度 | 特点说明 |
|---|---|---|---|
| 1bit 量化 | 开启 | 0.85 token/s | 延迟高，适合验证能否跑通 |
| 1bit 量化 | 关闭 | 1.5 token/s | 借助 DRAM 做缓存，速度提升，是本次测试最优速度 |
| 3bit 量化 | 开启 | 0.75 token/s | 精度更高，但是速度进一步下降 |
四、这套方案的明显短板
- 推理速度很慢，1.5 token/s 已经是最好成绩，写几百字内容要等待数分钟，没法用来日常对话
- 傲腾满载发热量巨大，必须额外加装涡轮风扇定向散热，高温有烧坏周边内存、主板的风险
- 产品已经停产，没有全新货源，只能买二手，寿命、稳定性没有官方保障
- 仅适合 MoE 模型，因为 MoE 每次只激活少量参数，如果是稠密大模型，这套方案依然跑不动
- 只适合技术实验，商用推理、高并发场景完全不适用
五、和常规 GPU 方案简单对比
| 项目 | 本次傲腾 + 40 核 CPU 方案 | 常规 GPU 推理方案 |
|---|---|---|
| 加速硬件 | 无显卡，纯 CPU + 傲腾内存 | 英伟达 GPU，依靠显存 + CUDA 加速 |
| 核心优势 | 低成本拿到超大内存，复用老服务器 | token 生成速度快，可商用、可并发 |
| 速度 | 0.75–1.5 token/s | 几十到上百 token/s |
| 成本 | 二手傲腾 + 老服务器，硬件投入低 | 高端 GPU 价格昂贵 |
| 定位 | 技术验证、本地研究 | 生产、日常调用、对外服务 |
六、方案的价值和后续方向
短期来看，这个案例最大价值是证明超大 MoE 模型不一定必须靠高端 GPU，超大持久内存可以作为一条低成本本地部署路线，适合爱好者、实验室做模型研究。
中期，这类思路可以给预算有限的小团队参考，在不需要快速响应的离线任务里，用老旧服务器 + 持久内存做模型加载、文本处理。
长期，不能指望它替代 GPU，GPU 依然是大模型推理的主流，傲腾这类持久内存更多是作为内存扩容补充，用来解决 “内存不够、模型装不下” 的问题。
【常见问题】
问题 1：无显卡 40 核老旧服务器跑 2.8 万亿参数 Kimi K3，傲腾内存是怎么工作的？
回答 1：傲腾内存设置成 App Direct 模式，软件直接内存映射访问模型权重，不用走磁盘缓存，依靠超大容量放下量化后的 Kimi K3 权重，由 40 核 CPU 完成全部计算，全程没有显卡参与加速。
问题 2：这套傲腾 + 老旧服务器方案，能不能拿来日常聊天使用？
回答 2：不适合，这套方案的 token 生成速度最高只有 1.5 个每秒，回复内容等待时间很长，它只是技术爱好者的验证实验，不是面向日常使用的方案。
问题 3：傲腾内存已经停产，二手傲腾用来跑大模型有哪些风险？
回答 3：二手傲腾没有官方质保，高负载下发热非常严重，散热不到位容易过热损坏，同时产品本身寿命未知，长时间连续跑模型稳定性无法保证。
问题 4：为什么 2.8 万亿参数 Kimi K3 可以在这套老服务器上跑，其他稠密大模型不行？
回答 4：Kimi K3 是 MoE 混合专家架构，推理时每次只激活一小部分参数，对实时计算压力更小；稠密大模型所有参数都要参与运算，就算内存装得下，CPU 算力也跟不上。
【参考资料】
[2026-11-13]（不用显卡！一台 40 核老服务器跑起 2.8 万亿参数大模型）太平洋科技
[2026-11-13]（不用显卡：玩家靠停产傲腾内存跑起 2.8 万亿参数 Kimi K3 模型）IT 之家
[2026-11-13]（用户用停产傲腾内存成功本地运行 2.8 万亿参数 Kimi K3 大模型）中关村在线
[2026-11-09]（显存不够傲腾凑！纯 CPU 跑 2.8 万亿参数 Kimi K3）凤凰网
[2026-11-09]（纯 CPU + 二手傲腾内存成功运行 2.8 万亿参数 Kimi K3 大模型）中关村在线
[2026-11-08]（Homelabber Runs Massive 2.8-Trillion-Parameter AI Model On Discontinued Intel Optane Memory）Tom's Hardware
【免责声明】
本文内容基于爱好者社区公开测试案例整理，仅作为硬件与 AI 技术科普，不构成硬件采购、二手傲腾入手、服务器搭建的决策建议；傲腾内存属于停产硬件，二手设备存在散热、寿命、稳定性风险；测试速度、内存占用数据仅为该爱好者特定环境下的实测结果，不同服务器、系统版本、量化参数会出现明显差异；Kimi K3 模型使用需要遵守模型对应的开源协议。