手机内存空间有限,普通稠密大模型很难在手机里跑起来,行业一直卡在内存、模型规模、推理速度三者很难兼顾的难题上,面壁智能给出了全新方案,依托 MoE 混合专家架构搭配自研 LES 前瞻专家调度技术,推出 MiniCPM-V 4.7 35B-A3B 多模态模型,总参数 350 亿,推理时只激活 30 亿参数,运行仅占用 3GB 内存,能在手机上断网本地运行,还把推理速度提升到最高 30token/s,精度损失几乎可以忽略,不再需要把整个大模型全部载入内存,把大部分专家权重放在闪存里按需预加载,通过计算和读盘并行的方式,解决了传统 MoE 在手机上反复等待读取、速度很慢的痛点。
核心模型与技术参数表格
| 项目 | 详情 |
|---|---|
| 模型名称 | MiniCPM-V 4.7 35B-A3B |
| 架构类型 | MoE 混合专家 |
| 总参数量 | 35B(350 亿) |
| 推理激活参数 | 3B(30 亿) |
| 运行内存占用 | 约 3GB |
| 峰值生成速度 | 最高 30token/s |
| 配套核心技术 | LES 前瞻专家调度 Lookahead Expert Scheduling |
| 支持系统 | iOS、安卓、鸿蒙 |
| 适配芯片 | Apple、瑞芯微、Intel、NVIDIA 等 |
| 状态 | 开源,开放适配代码 |
LES 前瞻专家调度工作原理清单
- 传统方式:上一层计算完成之后,才确定下一层要用哪些专家,再去闪存读取,推理过程大量时间浪费在等待加载。
- LES 方案:模型在当前层计算的同时,提前预判下一层大概率需要调用的专家,提前从闪存预加载。
- 时间重叠:读取专家权重的过程和模型计算并行,把加载耗时隐藏在计算周期里面。
- 配套优化:结合量化、存储布局优化,控制内存占用,同时尽量不降低模型输出质量。
这套方案带来的价值
- 突破手机内存上限,旗舰手机也能跑 350 亿参数级别的多模态端侧模型,支持图文理解、本地问答
- 支持完全断网使用,没有网络也能调用模型,隐私数据不会上传云端
- 覆盖多平台,苹果、安卓、鸿蒙手机、平板都可以部署,开发者可以直接拿到开源代码二次开发
- 降低端侧大模型落地门槛,不依赖超大内存硬件,推动端侧 Agent、本地多模态应用普及
【常见问题】
问题 1:在手机里如何塞下更大的端侧模型,面壁智能给出的新答案是什么技术?
回答 1:在手机里如何塞下更大的端侧模型,面壁智能给出的新答案是 LES 前瞻专家调度技术,搭配 MoE 混合专家架构,让 35B 参数的 MiniCPM-V 4.7 模型在手机上只占用 3GB 内存运行。
问题 2:面壁智能用来在手机跑更大端侧模型的 MiniCPM-V 4.7 35B-A3B,是全部参数都加载进内存吗?
回答 2:面壁智能用来在手机跑更大端侧模型的 MiniCPM-V 4.7 35B-A3B 不需要全部参数载入内存,大部分专家权重放在闪存,推理时按需预加载,每次只激活 30 亿参数。
问题 3:面壁智能这套方案把更大的端侧模型放进手机,推理速度表现怎么样?
回答 3:面壁智能这套方案把更大的端侧模型放进手机,优化之后最高可以达到 30token/s,对比传统按需加载的方式速度提升明显,已经可以做到流畅交互。
问题 4:面壁智能这个可以在手机运行的更大端侧模型,普通开发者能不能直接使用?
回答 4:面壁智能这个可以在手机运行的更大端侧模型 MiniCPM-V 4.7 已经开源,配套端侧适配代码,支持主流推理框架,普通开发者可以下载部署二次开发。
【参考资料】
[2026-11-09](在手机里如何塞下更大的端侧模型?面壁智能提供新答案)界面新闻
[2026-11-09](端侧逼近 “ChatGPT 时刻”: 面壁智能用 Infra,让 35B 模型跑在手机内存里)腾讯新闻
[2026-10-13](面壁智能发布新一代 MiniCPM-V 4.7:35B 开源大模型无损流畅跑上手机)环球网
[2026-10-13](35B 开源模型流畅跑上手机,面壁智能祭出 LES 提速)华尔街见闻
【免责声明】
本文内容基于面壁智能技术交流分享、开源公告和媒体公开报道整理,在手机运行更大端侧模型的实际速度、内存占用会受手机芯片、系统版本、后台负载影响;模型开源协议、商用限制以面壁智能 OpenBMB 社区官方说明为准,本文仅做资讯梳理,不构成产品选型、商业开发的决策建议。
