您的位置首页 >人工智能 >

MiniCPM-V 4.7 端侧 MoE 模型,每次仅激活约 3B,解码速度可达 13+ tokens/s

面壁智能推出的 MiniCPM-V 4.7 35B-A3B 版本是 MoE 混合专家多模态模型,它总参数 35B,但推理的时候每次只激活大约 3B 参数,搭配 LES 前瞻专家调度等加速技术,在 iPhone 17 Pro Max 上只用 3GB 内存就能跑出 13+ tokens/s 的端侧解码速度,这套方案解决了传统大模型参数大、内存占用高、手机本地跑不动的痛点;开发者拿到模型之后,可以先选适配芯片平台,再部署推理框架,开启离线本地图文、视频解析能力,最后做微调优化业务效果,整体做到大模型能力不下移、端侧运行流畅,是目前手机端可用的开源多模态 MoE 方案。

一、版本规格说明

MiniCPM-V 4.7 一共提供两个版本,参数和定位不一样

模型版本架构类型核心特点
35B-A3BMoE 混合专家总参 35B,单次激活约 3B,3GB 内存可跑,解码 13+ tokens/s,主打高性能端侧多模态
1B稠密模型轻量小模型,OCR、数学推理、视频理解表现优秀,适合低配置嵌入式设备

二、核心提速关键技术

  1. LES 前瞻专家调度:提前预判接下来推理要用的专家模块,预加载权重,减少等待时间,是实现低内存高速解码的核心技术
  2. 分层量化 + 推测解码:压缩权重体积,同时用推测采样加快 token 生成,不明显降低识别、问答效果
  3. 视觉 Token 压缩:支持 4 倍、16 倍视觉 token 压缩,图片、视频输入的时候减少计算量,压缩后评测分数下降幅度很小

三、支持平台与能力范围

  • 系统:iOS、安卓、鸿蒙
  • 芯片:苹果、英特尔、英伟达、瑞芯微、Arm 等主流芯片
  • 支持任务:单图识别、多图对比、文档 OCR、图表解析、长视频理解、中文问答、理科推理
  • 开源协议:Apache 2.0,同时配套 SRFT 自回放微调方案,方便开发者二次开发,减少微调后的模型遗忘问题

四、实测性能参考

  • iPhone 17 Pro Max:35B-A3B 版本,占用约 3GB 内存,解码速度 13+ tokens/s
  • iPad M4:同版本实测解码速度可以超过 15 tokens/s
  • 基准成绩:MMBench 90.87、OCRBench 90.40,在同类型 MoE 多模态模型里处于靠前水平

【常见问题】

问题 1:MiniCPM-V 4.7 的 35B-A3B 为什么每次只激活约 3B?

回答 1:MiniCPM-V 4.7 的 35B-A3B 属于 MoE 混合专家架构,35B 是全部专家参数总量,每一轮推理只会路由调用一小部分专家,也就是约 3B 激活参数,以此压低内存开销,才能在手机端实现 13+ tokens/s 的解码速度。

问题 2:MiniCPM-V 4.7 13+ tokens/s 的解码速度只能在 iPhone 上实现吗?

回答 2:MiniCPM-V 4.7 13+ tokens/s 的测试数据来自 iPhone 17 Pro Max,安卓旗舰、iPad M4 等设备也可以部署,不同硬件芯片的 MiniCPM-V 4.7 解码速度会有浮动,iPad M4 实测速度更高。

问题 3:部署 MiniCPM-V 4.7 需要多大内存?

回答 3:MiniCPM-V 4.7 的 35B-A3B 版本最低大约 3GB 内存就能跑,1B 稠密版本对内存要求更低,适合内存更小的嵌入式硬件,想要稳定跑出 13+ tokens/s 的速度建议预留充足可用内存。

问题 4:MiniCPM-V 4.7 可以离线跑视频理解吗?

回答 4:MiniCPM-V 4.7 支持离线本地运行,35B-A3B 和 1B 版本都支持视频理解能力,配合视觉 token 压缩技术,在满足内存条件下,离线完成视频解析,同时维持不错的解码速度。

【参考资料】

[2026-10-19](openbmb/minicpm-v4.7:moe)Ollama

[2026-10-14](MiniCPM-V 4.7: Open 35B MoE Multimodal Model Runs on Phones with 3 GB)neuralspace.pro

[2026-10-13](面壁智能发布端侧多模态大模型 MiniCPM-V 4.7,3GB 内存实现 13+ token/s 解码)IT 之家

[2026-10-13](你的手机能跑 35B 大模型了!只要 3GB 内存,还无损)智东西

[未知](MiniCPM-V 4.7)OpenBMB

【免责声明】

本文内容仅为技术资讯科普,MiniCPM-V 4.7 的解码速度、内存占用、跑分结果受设备型号、推理框架、量化参数、输入内容影响,不同环境下结果存在差异;模型使用遵守 Apache 2.0 开源协议,开发者自行承担二次部署、微调带来的相关风险,本文不构成落地开发、商业采购建议。

今日大家都在搜的词: