您的位置首页 >科技要闻 >

Edge0 开源 145B 端侧模型,笔记本可本地运行

Edge0 已经正式开源 Edge0-145B 这款 1450 亿参数的端侧大模型,搭配配套的推理框架和部署工具,满足条件的笔记本电脑就能本地跑起来,不用联网调用云端 AI。它采用稀疏 MoE 专家架构,虽然总参数达到 145B,但每一轮推理只激活大约 10B 参数,再加上三级存储调度方案,把峰值内存压到 29GB,解决了以往千亿大模型只能在服务器上运行的痛点。同时官方同步放出了 Edge0-120B 小版本,权重放在 Hugging Face,代码托管在 GitHub,许可证为 Apache 2.0,开发者可以自由下载、部署、二次修改。它主打代码编写、逻辑推理、智能体任务,上下文支持 128K 到 256K,在官方自测基准里,表现对标不少主流云端大模型。不过要注意,不是所有笔记本都能跑,需要大内存机型,而且官方给出的速度、跑分数据来自内部测试,第三方还没有大规模复测验证,普通轻薄本基本跑不动,只有高配笔记本才能获得可用的生成速度。

Edge0-145B 核心参数

  • 总参数量:145B,稀疏 MoE 架构,单次推理激活约 10B 参数
  • 峰值内存占用:29GB
  • 生成速度:解码≥80 token/s,提示词预处理≥1100 token/s
  • 上下文窗口:128K ~ 256K
  • 配套版本:同步开源 Edge0-120B
  • 开源协议:Apache 2.0
  • 分发渠道:Hugging Face 模型权重、GitHub 推理框架 + 部署工具

适配硬件清单

设备类型代表机型运行说明
苹果笔记本48GB 及以上内存 M 系列 MacBook Pro官方主推适配机型,运行稳定
Windows 笔记本搭载 RTX4090/5090、48GB 以上内存游戏本支持 NVFP4 量化版本
低配设备普通轻薄本、小内存笔记本无法流畅运行,会爆内存或者速度极慢

三级存储工作原理

  1. 热专家:高频调用的专家模块放在显存里,保证生成速度
  2. 专家库:其余专家数据放在系统内存,容量约 40GB
  3. 词表数据:约 48GB 词汇数据放在 SSD,按需读取,不用一次性载入内存

本地部署简易步骤

  1. 前往 GitHub 拉取 Edge0 官方推理框架,安装依赖环境
  2. 在 Hugging Face 下载 Edge0-145B 量化权重包
  3. 根据自己笔记本显卡、内存配置,修改推理配置文件
  4. 启动本地推理服务,加载模型,开启本地对话、代码生成

优势和局限

✅ 优势

  1. 断网可用,本地数据不会上传云端,隐私性更好
  2. 千亿级参数规模,代码、推理、智能体任务能力强
  3. 完整开源,支持开发者二次开发、自定义微调
  4. 三级内存调度方案,大幅降低硬件门槛

❌ 局限

  1. 对笔记本内存、硬盘要求很高,普通电脑无法使用
  2. 跑分、速度为官方自测数据,第三方验证结果未知
  3. SSD 读写速度会直接影响加载和切换专家的流畅度
  4. 功耗偏高,笔记本长时间运行发热明显

【常见问题】

问题 1:Edge0 开源 145B 端侧模型,是不是随便一台笔记本都能本地运行?

回答 1:Edge0 开源 145B 端侧模型仅支持高配笔记本本地运行,需要 48GB 及以上内存,比如 M 系列大内存 MacBook Pro、带 RTX4090/5090 的 Windows 游戏本,普通轻薄本内存不够,跑不起来。

问题 2:Edge0 开源 145B 端侧模型,为什么 145B 这么大的参数能在笔记本上跑?

回答 2:Edge0 开源 145B 端侧模型用稀疏 MoE 专家架构,每次计算只激活一小部分参数,再搭配显存、内存、SSD 三级存储方案,压低峰值内存到 29GB,所以可以在符合条件的笔记本本地运行。

问题 3:Edge0 开源 145B 端侧模型,本地运行需要联网吗?

回答 3:Edge0 开源 145B 端侧模型部署完成之后,推理阶段不需要联网,所有计算都在笔记本本地完成,只有下载模型权重和代码的时候需要网络。

问题 4:Edge0 开源 145B 端侧模型,和同步发布的 Edge0-120B 有什么区别?

回答 4:Edge0 开源 145B 端侧模型参数更大,推理、代码、智能体能力更强,硬件门槛更高;Edge0-120B 参数更小,对硬件要求更低,适合配置稍低一点的本地设备测试。

【参考资料】

[2026-11-13](Edge0 Open-Sources 145B On-Device Model, Slashing Memory by 60% While Still Writing Code at Full Power)AIBase

[2026-11-13](Edge0 open-sources 145B on-device AI model for local laptop inference)SiTech Blog

[2026-11-13](Edge0 开源 1450 亿参数端侧模型 Edge0-145B,笔记本可本地运行)IT 时代网

[2026-11-12](Edge0-145B: Open-Source On-Device AI with 145B Parameters)Edge0 官方博客

【免责声明】

本文内容仅整理公开发布信息,Edge0 开源 145B 端侧模型笔记本可本地运行相关性能、跑分数据来自厂商自测,第三方尚未充分验证,部署前请确认硬件条件,不构成硬件采购、模型商用建议,实际使用效果以自身设备实测为准。

今日大家都在搜的词: