无显卡 40 核老服务器成功运行 2.8 万亿参数 Kimi K3 大模型

国外硬件爱好者在 Reddit 社区分享实验成果，在完全不安装独立显卡的前提下，依靠一台 40 核第三代至强老服务器搭配停产的英特尔傲腾持久内存，成功跑通月之暗面 Kimi K3，也就是 2.8 万亿参数的混合专家大模型。Kimi K3 属于 MoE 混合专家模型，虽然总参数规模高达 2.8 万亿，但每一次生成 token 只会激活约 1040 亿参数，不过就算做 1bit 量化压缩，模型权重也需要数百 GB 内存空间，普通服务器内存很难满足需求，这次实验的核心关键就是傲腾 PMem200 持久内存。用户使用 llama.cpp 推理框架，将傲腾设置为 App Direct 模式，直接作为内存给模型读写，不是简单当成硬盘缓存，整套方案证明超大模型可以脱离 GPU，依靠大容量持久内存 + CPU 完成本地推理，但代价是生成速度很慢，只能用来做技术验证，没办法投入实际业务使用。

一、整套实验硬件与软件清单

• CPU：第三代英特尔至强可扩展处理器，40 核，无独立显卡
• 内存：英特尔傲腾持久内存 200 系列（PMem200，已停产），单条最高 512GB
• 系统模式：傲腾 App Direct 模式，直接作为程序内存访问
• 推理软件：llama.cpp
• 模型：Kimi K3（2.8 万亿参数 MoE 大模型）

二、实测推理性能数据

三、实验的核心难点与短板

1. 速度短板：生成速度非常慢，输出几百字内容就要等待数分钟，5 万 token 文本需要接近 18.5 小时，完全不适合日常快速交互。
2. 散热风险：傲腾持久内存发热很高，单条功耗最高 18W，温度超过 83℃就会降频，85℃直接保护性关机，高温还会影响旁边普通内存条。
3. 硬件门槛：傲腾 PMem200 早已停产，只能淘二手配件，而且必须搭配第三代至强平台，普通家用主板无法支持。
4. 模型特性：Kimi K3 是 MoE 专家模型，每次推理只激活一小部分参数，如果是全参数稠密大模型，这套 40 核老服务器方案无法承载。

四、实验本身的意义

• 验证思路：证明超大参数量大模型，不一定非要依靠高端 GPU 显存，大容量持久内存 + CPU 可以完成本地加载推理。
• 硬件复用：挖掘老旧服务器、停产傲腾内存的剩余价值，给本地大模型爱好者提供新的硬件方案参考。
• 边界认知：直观展示 MoE 模型的特性，总参数巨大，但单次推理激活参数有限，更容易在非 GPU 设备上跑起来。

【常见问题】

问题 1：不用显卡的 40 核老服务器，为什么能运行 2.8 万亿参数大模型？

回答 1：这套 40 核老服务器依靠已停产的傲腾持久内存提供数百 GB 大容量内存空间，搭配 llama.cpp 框架、模型量化技术，并且 Kimi K3 是 MoE 混合专家模型，每次生成 token 仅激活部分参数，因此不用显卡就能加载 2.8 万亿参数大模型完成推理。

问题 2：40 核老服务器跑 2.8 万亿参数 Kimi K3，实际生成速度有多快？

回答 2：40 核老服务器无显卡运行 2.8 万亿参数 Kimi K3，1bit 量化开启 DAX 时每秒 0.85token；关闭 DAX 之后可以达到每秒 1.5token，3bit 量化仅 0.75token/s，文本生成耗时很长，仅适合技术测试。

问题 3：这套 40 核老服务器 + 傲腾跑 2.8 万亿参数大模型方案，可以拿来日常使用吗？

回答 3：不建议日常使用。40 核老服务器无显卡跑 2.8 万亿参数大模型的方案生成速度极慢，傲腾内存发热严重存在硬件过热风险，配件停产只能二手采购，它只属于爱好者的技术验证实验，不适合生产、日常对话场景。

【参考资料】

[2026-11-13]（不用显卡！一台 40 核老服务器跑起 2.8 万亿参数大模型）太平洋科技

[2026-11-13]（玩家无 GPU，靠傲腾内存跑通 2.8 万亿参数 Kimi K3）IT 之家

[2026-11-12]（Homelabber Runs Massive 2.8-Trillion-Parameter AI Model On Discontinued Intel Optane Memory, Without A GPU）Tom's Hardware

[2026-11-13]（无显卡 40 核至强服务器成功本地运行 Kimi K3 大模型）快科技

【免责声明】

本文内容基于海外社区实验与公开科技媒体报道整理，40 核老服务器运行 2.8 万亿参数大模型仅为爱好者的实验项目，存在硬件过热、推理速度慢等问题，傲腾硬件兼容性有限，相关测试数据仅为实验室环境结果，不构成硬件采购、搭建本地大模型的实操与投资建议。