您的位置首页 >科技要闻 >

双3090加持2.8万亿参数Kimi K3提速41%

有个人玩家在社区放出了傲腾主机的实测结果,搭配两块 RTX3090 显卡,在本地跑完整 2.8 万亿参数 Kimi K3 模型,借助内存盘分片加载模型权重、GPU 专门承担注意力计算的方案,对比之前纯傲腾存储的部署方式,生成速度直接提升 41%,提示词预填充速度提升 26%,最终跑出 3.11 token/s 的生成速度、16.8 token/s 的提示词评估速度,这套方案没有把全部模型塞进显存,而是做了算力分工,路由专家张量放在 CPU 侧,部分模型分片放到 tmpfs 内存盘,剩下权重保留在傲腾持久内存,用普通消费级显卡搭配大容量内存和傲腾,就能低成本跑通超大参数 Kimi K3,给个人爱好者、小团队本地部署大模型提供了新的参考思路。

本次实测配置与数据清单

  • 显卡:双 RTX3090,总显存 48GB,只承载模型里注意力计算部分,显存仅承载全部模型文件的 5.5%
  • 存储方案:模型一共 94 个分片,其中 45 份合计 414GB 放到 tmpfs 内存盘,剩余分片存放傲腾持久内存
  • 基准对照:纯傲腾方案,无内存盘加速
  • 最终性能:生成速度 3.11 token/s,提示词评估速度 16.8 token/s;生成提速 41%,prefill 提速 26%

Kimi K3 模型基础信息

  • 总参数:2.8 万亿,MoE 混合专家架构,一共 896 个专家,单次 token 激活 16 个专家,激活参数 1040 亿
  • 上下文:原生支持 100 万 token 超长上下文,自带视觉能力
  • 存储需求:16 位精度存放完整模型,大约需要 5.6TB 空间

这套部署方案的分工逻辑

  • GPU 侧:只负责注意力计算,不承载全部专家权重,避开显存不够的瓶颈
  • CPU + 内存盘:存放路由专家张量,高频读取的分片放进高速 tmpfs,减少傲腾读取延迟
  • 傲腾持久内存:存放剩下的模型分片,弥补内存容量不足的问题

【相关 FAQ】

问题 1:双 3090 运行 Kimi K3 提速 41%,是靠把整个 Kimi K3 模型装进显存吗?

回答 1:双 3090 运行 Kimi K3 提速 41% 并不是把整个 Kimi K3 模型装进显存,两块 3090 合计显存只有 48GB,只负责注意力计算,大部分模型分片放在内存盘和傲腾上。

问题 2:2.8 万亿参数 Kimi K3 属于什么类型模型,本地部署难度高吗?

回答 2:2.8 万亿参数 Kimi K3 是 MoE 混合专家开源大模型,总参数量巨大,完整本地部署门槛很高,这次双 3090 方案是爱好者通过分片 + 傲腾 + 内存盘的折中方式实现的。

问题 3:双 3090 跑 Kimi K3,提速 41% 的核心优化点是什么?

回答 3:双 3090 跑 Kimi K3 提速 41% 的核心优化点是把接近一半的模型分片放到 tmpfs 内存盘,减少傲腾读取耗时,同时 GPU 专门接管注意力计算,做算力拆分。

问题 4:普通家用电脑可以直接照搬这套双 3090 部署 Kimi K3 的方案吗?

回答 4:普通家用电脑很难直接照搬这套双 3090 部署 Kimi K3 的方案,它需要大容量内存、傲腾持久内存,硬件门槛高,更适合 DIY 服务器爱好者做测试。

【参考资料】

[2026-11-21](双 3090 加持 2.8 万亿参数 Kimi K3 提速 41%)网易 IT 时代网

[2026-10-16](vLLM 针对 Kimi K3 解码优化技术博客)vLLM

[2026-07-27](Kimi K3 开放日,权重与技术基础设施开源)Kimi 官网

[2026-07-17](Kimi K3 正式发布,2.8 万亿参数百万上下文)Kimi 官网

免责声明

以上双 3090、2.8 万亿参数 Kimi K3 相关内容为社区 DIY 实测资讯整理,属于爱好者个人本地测试成果,不是月之暗面官方标准部署方案;Kimi K3 部署对硬件、内存、存储有极高要求,复刻存在硬件风险,不代表商用部署参考,不构成硬件采购建议。

今日大家都在搜的词: