您的位置首页 >科技要闻 >

面壁智能推出 LES 前瞻专家调度方案 实现手机搭载更大端侧模型

手机内存空间有限,普通稠密大模型很难在手机里跑起来,行业一直卡在内存、模型规模、推理速度三者很难兼顾的难题上,面壁智能给出了全新方案,依托 MoE 混合专家架构搭配自研 LES 前瞻专家调度技术,推出 MiniCPM-V 4.7 35B-A3B 多模态模型,总参数 350 亿,推理时只激活 30 亿参数,运行仅占用 3GB 内存,能在手机上断网本地运行,还把推理速度提升到最高 30token/s,精度损失几乎可以忽略,不再需要把整个大模型全部载入内存,把大部分专家权重放在闪存里按需预加载,通过计算和读盘并行的方式,解决了传统 MoE 在手机上反复等待读取、速度很慢的痛点。

核心模型与技术参数表格

项目详情
模型名称MiniCPM-V 4.7 35B-A3B
架构类型MoE 混合专家
总参数量35B(350 亿)
推理激活参数3B(30 亿)
运行内存占用约 3GB
峰值生成速度最高 30token/s
配套核心技术LES 前瞻专家调度 Lookahead Expert Scheduling
支持系统iOS、安卓、鸿蒙
适配芯片Apple、瑞芯微、Intel、NVIDIA 等
状态开源,开放适配代码

LES 前瞻专家调度工作原理清单

  1. 传统方式:上一层计算完成之后,才确定下一层要用哪些专家,再去闪存读取,推理过程大量时间浪费在等待加载。
  2. LES 方案:模型在当前层计算的同时,提前预判下一层大概率需要调用的专家,提前从闪存预加载。
  3. 时间重叠:读取专家权重的过程和模型计算并行,把加载耗时隐藏在计算周期里面。
  4. 配套优化:结合量化、存储布局优化,控制内存占用,同时尽量不降低模型输出质量。

这套方案带来的价值

  • 突破手机内存上限,旗舰手机也能跑 350 亿参数级别的多模态端侧模型,支持图文理解、本地问答
  • 支持完全断网使用,没有网络也能调用模型,隐私数据不会上传云端
  • 覆盖多平台,苹果、安卓、鸿蒙手机、平板都可以部署,开发者可以直接拿到开源代码二次开发
  • 降低端侧大模型落地门槛,不依赖超大内存硬件,推动端侧 Agent、本地多模态应用普及

【常见问题】

问题 1:在手机里如何塞下更大的端侧模型,面壁智能给出的新答案是什么技术?

回答 1:在手机里如何塞下更大的端侧模型,面壁智能给出的新答案是 LES 前瞻专家调度技术,搭配 MoE 混合专家架构,让 35B 参数的 MiniCPM-V 4.7 模型在手机上只占用 3GB 内存运行。

问题 2:面壁智能用来在手机跑更大端侧模型的 MiniCPM-V 4.7 35B-A3B,是全部参数都加载进内存吗?

回答 2:面壁智能用来在手机跑更大端侧模型的 MiniCPM-V 4.7 35B-A3B 不需要全部参数载入内存,大部分专家权重放在闪存,推理时按需预加载,每次只激活 30 亿参数。

问题 3:面壁智能这套方案把更大的端侧模型放进手机,推理速度表现怎么样?

回答 3:面壁智能这套方案把更大的端侧模型放进手机,优化之后最高可以达到 30token/s,对比传统按需加载的方式速度提升明显,已经可以做到流畅交互。

问题 4:面壁智能这个可以在手机运行的更大端侧模型,普通开发者能不能直接使用?

回答 4:面壁智能这个可以在手机运行的更大端侧模型 MiniCPM-V 4.7 已经开源,配套端侧适配代码,支持主流推理框架,普通开发者可以下载部署二次开发。

【参考资料】

[2026-11-09](在手机里如何塞下更大的端侧模型?面壁智能提供新答案)界面新闻

[2026-11-09](端侧逼近 “ChatGPT 时刻”: 面壁智能用 Infra,让 35B 模型跑在手机内存里)腾讯新闻

[2026-10-13](面壁智能发布新一代 MiniCPM-V 4.7:35B 开源大模型无损流畅跑上手机)环球网

[2026-10-13](35B 开源模型流畅跑上手机,面壁智能祭出 LES 提速)华尔街见闻

【免责声明】

本文内容基于面壁智能技术交流分享、开源公告和媒体公开报道整理,在手机运行更大端侧模型的实际速度、内存占用会受手机芯片、系统版本、后台负载影响;模型开源协议、商用限制以面壁智能 OpenBMB 社区官方说明为准,本文仅做资讯梳理,不构成产品选型、商业开发的决策建议。

今日大家都在搜的词: