这条标题涉及具体人物,我按惯例把人物姓名从标题里去掉、改用公司和技术主线来改写;同时先把采访的时间、场合和原始表述核实清楚。
先把那天最硬的一组数字摆出来:350 亿参数的 MoE 多模态模型,只占约 3GB 运行内存,在手机上跑出 30 Token/s 以上的生成速度,精度损失几乎可以忽略。这是面壁智能在 11 月 5 日端侧多模态大模型技术交流活动上披露的最新优化结果,团队联席首席科学家、清华大学人工智能学院助理教授姚远同时给出一个大胆判断 —— 按过去几代旗舰模型向端侧迁移的节奏,未来两年内,GPT-6 级别的智能能力有望在手机上以约 3GB 内存流畅运行。他还补了一句更值得琢磨的话:眼下行业演示的 AI 手机功能,大多集中在点外卖、订机票这类流程化任务,这些场景已经跑通,真正缺的是对交互方式的重新设计。三个判断连起来看,指向同一件事:端侧的门槛正从 "能不能跑" 转向 "跑起来之后做什么"。
一、活动信息与说话人身份先对齐
| 项目 | 口径 |
|---|---|
| 活动 | 面壁智能端侧多模态大模型技术交流活动 |
| 时间 | 2026 年 11 月 5 日 |
| 核心发布 | MiniCPM-V 4.7 35B-A3B 最新推理优化结果 |
| 主讲人身份 | 面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远 |
| 同场分享 | 多模态实验室余天予(智能密度)、蔡天驰(底层推理优化) |
| 现场演示 | 搭载 MiniCPM-V 4.7 的 iPhone Duo,实测解码约 25 Token/s |
需要分清的是:这场是技术交流活动,不是新品发布会;MiniCPM-V 4.7 系列(35B-A3B 与 1B 两个版本)早在 10 月 13 日就已发布并开源,这次讲的是把同一模型的手机端速度又往上推了一档。
二、30 Token/s 这个数字,是怎么一步步挪上去的
同样一颗 iPhone 17 Pro Max,同样一个 350 亿参数模型,速度差异全在工程优化上。
| 阶段 | 优化动作 | 生成速度 | 内存占用 |
|---|---|---|---|
| 常规专家读取 | 每层先定专家、再从闪存读权重 | 约 3 Token/s | — |
| 引入 LES 前瞻专家调度 | 计算当前层时提前预取下一层权重 | 约 13 Token/s | — |
| 叠加新一代手机硬件 | 更大共享内存、更强 NPU | 约 20 Token/s | — |
| 最新一轮优化 | 调度与量化继续打磨 | 30 Token/s 以上 | 约 3GB |
| 参照:iPad Pro M4 16GB | LES 加持 | 超 17 Token/s(平均提升约 5 倍) | 16GB 设备 |
这张表想说明一件事:端侧竞赛的胜负手,很多时候不在模型结构,而在 "数据搬运"。纯计算时间其实只有约 50 毫秒 / Token(理论 20 Token/s),但常规闪存读取会额外拖进约 250 毫秒,速度直接掉到 2 至 3 Token/s。把等待藏进计算里,才换来了 10 倍级的提升。
三、350 亿参数塞进手机:LES 到底做了什么
模型完整权重约 65.6GiB,普通手机内存根本装不下;但闪存装得下,问题只是 "读得慢"。LES 的思路是把串行改并行。
- 提前预测:利用 Transformer 相邻层的残差连接特性,在当前层计算时预测下一层要用的专家,同步把权重从闪存搬到内存。
- 命中率有账可算:一层 256 个候选专家、实际激活 8 个,提前猜 8 个命中率约 80%(通常能猜中 6 至 7 个);扩大到 16 个可提到约 96%,但多读也增加开销,得找平衡点。
- 猜错不影响结果:预测只改变读取顺序,模型仍按原路由机制选择专家,所以输出不变 —— 这也是它能叫 "无损" 的原因。
- 配套三招:重组专家权重存储布局让数据连续排列、逐层混合精度量化压缩体积、DSpark 投机解码一次验证多个候选 Token。
一句话概括这套组合:用 "猜得准" 换 "等得少",再用 "存得巧" 换 "占得少"。
四、两把尺子:什么叫 "撞线",什么叫 "等智能线"
姚远给端侧智能划了两条判断线,这是他整套论述里最有方法论价值的部分。
| 概念 | 定义 | 用途 |
|---|---|---|
| 撞线 | 端侧模型能力超过某类任务所需的最低门槛,这类任务就具备从云端迁到本地的条件 | 判断 "哪些场景可以本地跑" |
| 等智能线 | 以某代云端旗舰能力为基准,看达到同等能力所需参数量随时间下降的曲线,与端侧可承载规模曲线的交点 | 判断 "某代能力何时能上端侧" |
| 智能密度定律 | 模型智能密度约每 3.5 个月翻一番,同等能力所需参数量约每 3.5 个月减半 | 给上面两条线提供斜率 |
按这套尺子,他把智能需求分成两类:一类是设计先进芯片、开发大型软件这种几乎没有能力上限的任务;另一类是日常生活工作中能力要求稳定、存在明确上限的任务。后者只要端侧持续变强,就一定会被逐段 "撞线"。他的判断是:以 GPT-4V、GPT-4o 这类历史旗舰为参照,端侧已经跨过了一些门槛;以更强的新一代模型为标准,端侧仍有距离 —— 但不能靠不断抬高评价标准,否认已经跨过去的部分。
五、智能密度靠三条工程路径撑起来
参数不是白来的,密度是一点点抠出来的。
- 视觉侧压缩:MiniCPM-V 2.5 用图像切分,后续引入时空联合压缩,到 4.5 已实现最高 96 倍视觉压缩;4.7 引入 LLaVA-UHD v4 把压缩前移到视觉编码器内部,再减约一半计算。4 倍模式保细节(文档解析),16 倍模式省算力(实时交互)。
- 后训练提质:RLHF-V 把 "打分" 改成 "直接纠错",RLAIF-V 用 AI 反馈替代部分人工,RLPR 基于概率奖励减少对专用验证器的依赖。
- 不忘旧本事:自回放微调(Self-Replay)让模型学新任务时复习原有能力,实验显示微调导致的遗忘减少 80% 至 99%,成本接近普通监督微调。
- 算力侧自制:模型与 Infra 自研,硬件靠生态伙伴;芯片级适配由 "模型 + Harness" 的 Forge 范式自动产出定制算子,把原本数月的优化周期压到数十小时。
六、为什么 "点外卖、订机票" 还不够
这是全场最容易被断章取义的一句,实际指向很明确:这些演示证明的是流程已经跑通,而不是体验已经到位。
| 现存门槛 | 具体表现 | 突破方向 |
|---|---|---|
| 模型能力 | 复杂任务仍力不从心,跨应用长链条易中断 | 端侧能力继续上探(30B 级 MoE、全双工全模态) |
| 系统权限 | 应用数据与操作权限受厂商限制,智能体难跨应用执行 | 生态开放,操作系统层给出可信调用机制 |
| 功耗与续航 | 全天候常驻当前不现实 | 调度优化、稀疏激活、芯片协同 |
| 交互范式 | 演示集中在订票、点外卖这类单点任务 | 从 "用户提需求" 转向 "伴随态主动感知" |
他给的方向是 "伴随态":模型不是等你提问才应答,而是一边看、一边听、一边判断该不该说话。面壁此前开源的 MiniCPM-o 4.5 走的就是这条路 —— 全双工、可打断、可插话,8B 到 9B 规模就能在断网弱网环境稳定运行。他甚至认为,未来可能不再需要单独强调 "AI 手机" 这个词,因为 AI 会像触屏一样变成手机的基础能力,那时硬件形态和交互方式都会跟着变。
七、端和云怎么分工
- 能本地就本地:多模态数据量大、持续产生、隐私敏感,照片、邮件、日程、录音优先在端上处理。
- 复杂的先抽象再上云:遇到重逻辑推理,本地先把问题抽象、脱敏,再交给云端,最后由本地结合个人场景生成结果。
- 网络不稳场景必须本地:车里进隧道、地下停车场,涉及交互与控制的功能不能依赖连接。
- 端云协同仍是主线:端侧变强不等于云端退场,而是任务分层更清晰。
八、哪些是已验证,哪些还是预测
| 说法 | 证据强度 | 备注 |
|---|---|---|
| 35B-A3B 在手机 3GB 内存跑 30 Token/s 以上 | 官方披露 + 现场实测 25 Token/s | 机型、量化方案、任务类型不同会有差异 |
| LES 提速约 5 倍且不改变输出 | 官方测试数据(iPad Pro M4 16GB) | 提升幅度随设备与负载变化 |
| 多模态水平超过 2023 年云端旗舰 GPT-4V | 团队自评 | 属能力对标判断,非第三方横评 |
| 端侧模型综合分接近 90 分(对比 Apple Intelligence 本地模型 54 至 55 分) | 团队内部约 10 项基准测试 | 测试集与口径未公开,只宜作参考 |
| 两年内 GPT-6 级能力上手机、3GB 内存 | 基于历史迁移节奏的推断 | 本人明确称 "尚未形成广泛共识" |
| 千元机可用 | 上一代 1B 版本已能在部分千元机跑 15 Token/s 以上 | 35B-A3B 面向能力上限,1B 面向普惠 |
这张表想说明一件事:"能跑" 是事实,"跑到什么水平" 要对口径,"两年内到什么水平" 是判断。三者混着说,最容易失真。
九、结论
把这场分享拆开看,它其实讲了三层递进:工程层,用 LES 把 350 亿参数模型的手机速度从 3 Token/s 推到 30 Token/s 以上,证明内存和带宽这道墙可以被绕;方法层,用 "撞线" 和 "等智能线" 两把尺子,把 "端侧能干什么" 变成可计算的判断,而不是感觉;产品层,指出 AI 手机当前最缺的不是功能清单,而是交互范式 —— 点外卖、订机票这类任务证明流程通了,但离 "伴随态" 还很远。至于两年内 GPT-6 级能力上手机这个预测,它是基于 "云端旗舰能力约两年迁移到端侧" 的历史斜率外推,方向值得重视,但仍属尚未形成共识的判断。对行业的启示很朴素:端侧这仗赢在 "通道与配合"—— 带宽、调度、系统权限、功耗,哪一环松了,模型再强也跑不出体验。
【常见问题】
问题 1:面壁智能说的 "两年内 GPT-6 级 AI 跑在手机上",具体是什么口径?
回答 1:指的是未来端侧模型能达到与 GPT-6 相近的智能水平,而不是把 GPT-6 原样部署到手机上;约束条件是约 3GB 运行内存与较流畅的生成速度。这一判断由面壁智能联席首席科学家姚远基于 "云端旗舰能力约两年迁移到端侧" 的历史节奏外推得出,本人也明确表示这属于尚未形成广泛共识的观点。
问题 2:350 亿参数的 MiniCPM-V 4.7 35B-A3B,为什么 3GB 内存就能在手机上跑?
回答 2:关键在 MoE 稀疏激活加 LES 前瞻专家调度。模型总参数 350 亿,但每个 Token 只激活约 30 亿参数,大部分权重存在闪存里;LES 在当前层计算时提前预测下一层要用的专家并同步预取,把闪存读取的等待藏进计算过程,从而在约 3GB 内存下实现 30 Token/s 以上的生成速度,且不改变模型输出。
问题 3:面壁智能提到的 "点外卖、订机票有点无聊",是在否定这些功能吗?
回答 3:不是否定功能,而是指出演示层面的局限。点外卖、订机票说明端侧智能体的流程已经跑通,但这类单点任务无法体现 AI 原生手机的想象力。按姚远的说法,真正的 AI 原生手机需要重新思考交互方式,方向是边看、边听、能主动判断时机的伴随态交互,而这条路还受模型能力、系统权限和功耗三重约束。
问题 4:端侧模型越来越强,云端 AI 会不会被替代?
回答 4:不会,端云协同仍是主线。面壁智能的判断是任务分层会更清晰:照片、邮件、日程、录音这类数据量大且隐私敏感的多模态信息优先在端上处理;重逻辑推理任务可先在本地抽象脱敏再交给云端;隧道、地下停车场等弱网场景则必须本地闭环。端侧变强改变的是分工比例,不是取代关系。
问题 5:普通用户什么时候能在千元机上用上这类端侧模型?
回答 5:路径已经打开。面壁智能把 35B-A3B 定位为冲击能力上限,1B 版本面向普惠终端;上一代 1B 版本已能在部分千元机跑出 15 Token/s 以上的生成速度,团队给的体验基准是 8 Token/s 以下明显卡顿、15 Token/s 对文字对话已算流畅。随着推理效率继续提升,不同价位手机之间的 AI 体验差距有望缩小。
【数据来源】
- [2026-11-05](面壁智能姚远:两年 GPT-6 级 AI 跑在手机上,现在点外卖订机票有点无聊)智东西
- [2026-11-05](面壁智能姚远:两年 GPT-6 级 AI 跑在手机上,现在点外卖订机票有点无聊)腾讯新闻
- [2026-10-27](面壁智能亮相 CNCC 2026:第三届端侧大模型论坛成功举办,定义端侧通用人工智能)中国日报网
- [2026-10-19](Scaling Law 开始挤进手机了:30B 级端侧模型密集亮相与硬件账本)搜狐科技
- [2026-10-13](端侧多模态新上限,350 亿参数 MoE 手机平板 3GB 内存畅跑,MiniCPM-V 4.7 正式开源)面壁智能官网
- [2026-08-12](端侧模型企业面壁智能启动 IPO 辅导 最新估值超 200 亿元)财新网
- [2026-07-20](面壁智能将密度定律带入具身智能:智能密度约每 3.5 个月翻一番)至顶网
【免责声明】
本文基于公开报道与企业公开资料整理,仅用于信息分享与技术观察,不构成对任何企业、产品或技术路线的推荐、投资或采购建议。文中模型参数、生成速度、内存占用、评测分数均为厂商披露或团队内部测试口径,测试机型、量化方案、任务类型不同会导致结果差异,实际表现请以面壁智能官方发布与技术文档为准。"两年内 GPT-6 级能力上手机" 为受访者个人判断,不代表行业共识,亦不构成对产品上市时间的预期。文中涉及的第三方模型对比数据来自厂商自测,未经过统一评测环境验证,仅供参考。
