最近有海外玩家在 Reddit 社区分享了一个很有看点的本地大模型实验，整套机器不搭配任何加速显卡，只依靠 CPU 加上已经停产的第二代傲腾持久内存，成功跑起来 2.8 万亿参数的 Kimi K3 模型。Kimi K3 属于 MoE 混合专家大模型，哪怕做 1bit 极致量化压缩，也需要至少 610GB 的大容量内存空间，普通 DDR 服务器内存凑这么大容量成本很高，而二手傲腾持久内存价格便宜、单条容量大，刚好满足这个容量门槛。玩家选用 40 核第三代至强可扩展 CPU，搭配傲腾 PMem 200 系列，使用 llama.cpp 推理框架，傲腾设置为 App Direct 模式给软件直接调用，虽然成功跑通，但推理速度偏慢，同时傲腾发热非常严重，必须加装主动散热风扇，属于技术向的家庭实验室测试，不适合日常使用。
一、本次实验硬件清单
- 处理器：40 核第三代英特尔至强可扩展处理器
- 大容量内存：第二代傲腾持久内存 PMem 200 系列（停产），单条可选 128GB/256GB/512GB
- 加速硬件：无独立 GPU，纯 CPU 推理
- 散热：额外加装涡轮风扇给傲腾内存散热，防止过热降频、烧坏周边内存
- 平台限制：仅支持第三代至强平台，新款 CPU 不再兼容傲腾持久内存
二、软件与模式设置说明
- 推理框架：llama.cpp
- 傲腾运行模式：App Direct 模式，软件直接访问傲腾内存空间
- 对比模式：Memory Mode 是 DRAM 作为缓存，系统自动调度，本次实验没有采用
- 模型版本：Kimi K3，2.8 万亿参数 MoE 模型，单次推理激活约 1040 亿参数
- 上下文上限：104 万 token
三、不同量化档位速度实测表
| 量化规格 | 实测 token 速度 | 备注 |
|---|---|---|
| 1bit 量化（开启 DAX 直通） | 0.85 token/s | DAX 绕过系统页缓存 |
| 1bit 量化（关闭 DAX 直通） | 1.5 token/s | 速度提升，靠 DRAM 缓存热点数据 |
| 3bit 量化 | 0.75 token/s | 精度更高，速度更慢 |
四、这套方案的优缺点
✅ 优点
- 不用高价显卡，依靠二手傲腾低成本拿到几百 GB 内存容量
- 验证了纯 CPU + 大容量持久内存本地跑巨型 MoE 大模型的可行性
- 傲腾是非易失内存，断电后数据不会丢失，加载模型有一定优势
❌ 缺点
- 推理速度很慢，生成 5 万 token 大约需要 18.5 小时，没法正常日常聊天
- 发热巨大，单条傲腾最高 18W，83℃开始降频，85℃保护性关机
- 硬件已经停产，只能淘二手，兼容性仅限第三代至强服务器平台
- 1bit 量化会损失模型输出精度
【常见问题】
问题 1：玩家不用显卡，靠停产傲腾内存跑的 2.8 万亿参数 Kimi K3 AI 模型是什么架构？
回答 1：玩家不用显卡，靠停产傲腾内存跑的 2.8 万亿参数 Kimi K3 AI 模型属于 MoE 混合专家模型，总参数 2.8 万亿，每次生成内容只激活约 1040 亿参数，原生支持最长 104 万 token 上下文。
问题 2：为什么停产傲腾内存可以用来跑 2.8 万亿参数 Kimi K3 AI 模型，普通 DDR 内存不行？
回答 2：2.8 万亿参数 Kimi K3 AI 模型经过 1bit 量化之后，仍然需要 610GB 以上内存空间，普通 DDR 服务器内存凑齐这么大容量价格很贵，而停产傲腾持久内存单条最高 512GB，二手成本低，刚好满足超大内存容量需求，所以玩家选择这套方案。
问题 3：不用显卡、靠停产傲腾内存跑 2.8 万亿参数 Kimi K3 AI 模型，实际输出速度怎么样？
回答 3：不用显卡、靠停产傲腾内存跑 2.8 万亿参数 Kimi K3 AI 模型速度偏低，1bit 量化关闭 DAX 最高 1.5 token 每秒，3bit 量化下只有 0.75 token 每秒，生成长文本耗时非常久。
问题 4：用停产傲腾内存跑 2.8 万亿参数 Kimi K3 AI 模型，傲腾要设置成什么模式？
回答 4：玩家跑 2.8 万亿参数 Kimi K3 AI 模型时，停产傲腾内存设置为 App Direct 模式，让 llama.cpp 直接读写傲腾内存空间，而不是 Memory Mode 缓存模式。
【参考资料】
[2026-11-13]（不用显卡：玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型）IT 之家
[2026-11-13]（显存不够傲腾凑！纯 CPU 跑 2.8 万亿参数 Kimi K3）太平洋科技
[2026-11-13]（用户用停产傲腾内存成功本地运行 2.8 万亿参数 Kimi K3 大模型）中关村在线
[2026-11-12]（Homelabber Runs Massive 2.8-Trillion-Parameter AI Model On Discontinued Intel Optane Memory）HardwareUpgrade
【免责声明】
本文内容基于海外玩家社区的傲腾内存本地运行 Kimi K3 实验爆料整理，仅为硬件技术测试案例，该方案发热高、速度慢、硬件停产，不适合商用和日常使用，模型本地部署存在版权风险，内容仅供技术爱好者参考，不构成硬件采购、模型部署建议。