Edge0 开源 145B 端侧 MoE 模型 内存节省 60%，代码推理能力保持满血

Edge0 正式开源 Edge0-145B 以及 Edge0-120B 两款端侧模型，配套统一推理框架和部署工具，依靠三层分级加载 + 稀疏 MoE 专家路由方案，把原本需要超大内存的 145B 参数模型峰值内存压到 29GB，相比同规格传统加载方案直接省下约 60% 内存，在代码生成、智能体、长文本推理评测里保持满血能力，官方数据显示它每一轮推理只激活约 10B 参数，不用把全部专家权重常驻显存，热专家留在显卡显存、其余专家放到系统内存、词表数据按需从 SSD 读取，搭配推测解码、混合注意力，在 48GB 内存高端笔记本、24GB 显存消费级显卡上就能离线跑，不用上云端，支持 128K~256K 超长上下文，不过它对硬件门槛有明确要求，低配电脑、普通轻薄本跑不起来，模型、推理引擎以 Apache2.0 协议开源，权重上传至 Hugging Face，推理代码托管在 GitHub，开发者可以本地私有化部署、二次改造，适合程序员本地写代码、本地文档深度解析、离线智能体自动化任务。

Edge0-145B 核心参数表

三层分级加载机制清单（省内存的核心逻辑）

1. GPU 显存层：高频调用的热专家常驻显存，优先读取计算，减少磁盘来回搬运
2. 系统内存层：专家库主体放在 RAM，LRU 缓存调度，需要的时候快速换入显存
3. SSD 磁盘层：词表、大 embedding 数据放在固态，mmap 内存映射按需流式读取，不常驻内存
4. 调度配合：CPU 和 GPU 并行协同，搭配推测解码，掩盖磁盘读取带来的延迟，保证输出速度

能力与典型使用场景

✅ 主打能力：代码编写、代码调试、终端智能体、长文档分析、复杂逻辑推理

✅ 场景 1：程序员本地离线写项目代码、排查 bug、生成脚本，不用上传代码到第三方云端

✅ 场景 2：本地大批量合同、技术文档、日志文件解析，数据不出本机，隐私可控

✅ 场景 3：本地 Agent 自动化，调用本机工具、文件、脚本做自动化任务

✅ 场景 4：研发做模型微调、本地评测、私有知识库 RAG 二次封装

硬件门槛说明

• 推荐配置：48GB 统一内存 MacBook Pro，或者 24GB 显存显卡 + 32GB 以上系统内存、高速 NVMe 固态的 PC
• 不支持：普通 16GB 及以内内存轻薄本、手机，无法流畅加载运行
• 功耗：满负载典型功耗约 120W，长时间运行会明显发热

对比传统稠密大模型的差异

• 稠密模型：全部权重常驻显存 / 内存，145B 稠密模型需要上百 GB 显存，只能服务器跑
• Edge0-145B：MoE 稀疏路由，只激活少量专家，三层存储分流，消费级高端 PC 可本地离线运行
• 稠密模型：内存开销固定，上下文拉长后 KV 缓存压力暴涨
• Edge0-145B：专家按需换入，KV 缓存做 int8 压缩，长上下文下速度衰减更平缓

【常见问题】

问题 1：Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码，Edge0-145B 是怎么做到内存节省 60% 的？

回答 1：Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码，依靠 MoE 稀疏路由，每次推理只激活约 10B 参数，搭配显存、内存、SSD 三层分级按需加载机制，热专家留在显存，其余专家和词表按需读取，大幅降低常驻内存，实现节省 60% 内存，同时保留代码推理能力。

问题 2：Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码，Edge0-145B 真的可以在笔记本上跑吗？

回答 2：Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码，只支持高端笔记本，比如 48GB 统一内存 MacBook Pro，或者 24GB 独显 + 大内存 PC；普通轻薄本、小内存笔记本硬件不足，无法运行 Edge0-145B。

问题 3：Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码，Edge0-145B 的代码能力和云端模型差距大吗？

回答 3：Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码，官方自测在 Terminal-bench、GPQA 等评测里代码、智能体能力对标前沿云端模型；目前是官方自测数据，还缺少大量第三方复现验证。

问题 4：Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码，Edge0-145B 开源包含哪些东西？

回答 4：Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码，开源内容包含 Edge0-145B、Edge0-120B 模型权重、统一 Strata 推理引擎、部署工具，协议为 Apache2.0，可以本地部署和二次开发。

【参考资料】

[2026-11-14]（Edge0-145B on a laptop: what the 29GB headline leaves out）Oğuzhan Koçaklı

[2026-11-13]（Edge0 Open-Sources 145B On-Device Model, Slashing Memory by 60% While Still Writing Code at Full Power）AIBase

[2026-11-13]（Edge0 Releases Major Open-Source 145B On-Device Model）C114Pro

[2026-11-12]（Edge0-145B: Open-Source On-Device AI with 145B Parameters）edge0.ai 官网博客

【免责声明】

Edge0 145B 端侧模型相关资讯仅作为 AI 技术动态科普参考；内存占用、跑分、生成速度均为官方自测结果，不同硬件、驱动、系统版本实际效果会存在差异；MoE 稀疏加载方案依赖高速 NVMe 固态，磁盘速度会直接影响推理延迟；本文不构成硬件采购、私有化项目落地选型依据，正式业务上线前建议自行完成复现与压力测试。