面壁智能推出的 MiniCPM-V 4.7 35B-A3B 版本是 MoE 混合专家多模态模型,它总参数 35B,但推理的时候每次只激活大约 3B 参数,搭配 LES 前瞻专家调度等加速技术,在 iPhone 17 Pro Max 上只用 3GB 内存就能跑出 13+ tokens/s 的端侧解码速度,这套方案解决了传统大模型参数大、内存占用高、手机本地跑不动的痛点;开发者拿到模型之后,可以先选适配芯片平台,再部署推理框架,开启离线本地图文、视频解析能力,最后做微调优化业务效果,整体做到大模型能力不下移、端侧运行流畅,是目前手机端可用的开源多模态 MoE 方案。
一、版本规格说明
MiniCPM-V 4.7 一共提供两个版本,参数和定位不一样
| 模型版本 | 架构类型 | 核心特点 |
|---|---|---|
| 35B-A3B | MoE 混合专家 | 总参 35B,单次激活约 3B,3GB 内存可跑,解码 13+ tokens/s,主打高性能端侧多模态 |
| 1B | 稠密模型 | 轻量小模型,OCR、数学推理、视频理解表现优秀,适合低配置嵌入式设备 |
二、核心提速关键技术
- LES 前瞻专家调度:提前预判接下来推理要用的专家模块,预加载权重,减少等待时间,是实现低内存高速解码的核心技术
- 分层量化 + 推测解码:压缩权重体积,同时用推测采样加快 token 生成,不明显降低识别、问答效果
- 视觉 Token 压缩:支持 4 倍、16 倍视觉 token 压缩,图片、视频输入的时候减少计算量,压缩后评测分数下降幅度很小
三、支持平台与能力范围
- 系统:iOS、安卓、鸿蒙
- 芯片:苹果、英特尔、英伟达、瑞芯微、Arm 等主流芯片
- 支持任务:单图识别、多图对比、文档 OCR、图表解析、长视频理解、中文问答、理科推理
- 开源协议:Apache 2.0,同时配套 SRFT 自回放微调方案,方便开发者二次开发,减少微调后的模型遗忘问题
四、实测性能参考
- iPhone 17 Pro Max:35B-A3B 版本,占用约 3GB 内存,解码速度 13+ tokens/s
- iPad M4:同版本实测解码速度可以超过 15 tokens/s
- 基准成绩:MMBench 90.87、OCRBench 90.40,在同类型 MoE 多模态模型里处于靠前水平
【常见问题】
问题 1:MiniCPM-V 4.7 的 35B-A3B 为什么每次只激活约 3B?
回答 1:MiniCPM-V 4.7 的 35B-A3B 属于 MoE 混合专家架构,35B 是全部专家参数总量,每一轮推理只会路由调用一小部分专家,也就是约 3B 激活参数,以此压低内存开销,才能在手机端实现 13+ tokens/s 的解码速度。
问题 2:MiniCPM-V 4.7 13+ tokens/s 的解码速度只能在 iPhone 上实现吗?
回答 2:MiniCPM-V 4.7 13+ tokens/s 的测试数据来自 iPhone 17 Pro Max,安卓旗舰、iPad M4 等设备也可以部署,不同硬件芯片的 MiniCPM-V 4.7 解码速度会有浮动,iPad M4 实测速度更高。
问题 3:部署 MiniCPM-V 4.7 需要多大内存?
回答 3:MiniCPM-V 4.7 的 35B-A3B 版本最低大约 3GB 内存就能跑,1B 稠密版本对内存要求更低,适合内存更小的嵌入式硬件,想要稳定跑出 13+ tokens/s 的速度建议预留充足可用内存。
问题 4:MiniCPM-V 4.7 可以离线跑视频理解吗?
回答 4:MiniCPM-V 4.7 支持离线本地运行,35B-A3B 和 1B 版本都支持视频理解能力,配合视觉 token 压缩技术,在满足内存条件下,离线完成视频解析,同时维持不错的解码速度。
【参考资料】
[2026-10-19](openbmb/minicpm-v4.7:moe)Ollama
[2026-10-14](MiniCPM-V 4.7: Open 35B MoE Multimodal Model Runs on Phones with 3 GB)neuralspace.pro
[2026-10-13](面壁智能发布端侧多模态大模型 MiniCPM-V 4.7,3GB 内存实现 13+ token/s 解码)IT 之家
[2026-10-13](你的手机能跑 35B 大模型了!只要 3GB 内存,还无损)智东西
[未知](MiniCPM-V 4.7)OpenBMB
【免责声明】
本文内容仅为技术资讯科普,MiniCPM-V 4.7 的解码速度、内存占用、跑分结果受设备型号、推理框架、量化参数、输入内容影响,不同环境下结果存在差异;模型使用遵守 Apache 2.0 开源协议,开发者自行承担二次部署、微调带来的相关风险,本文不构成落地开发、商业采购建议。
