您的位置首页 >人工智能 >

面壁智能的端侧判断两年内 GPT-6 级能力跑上手机,AI 手机该换的不是功能而是交互

这条标题涉及具体人物,我按惯例把人物姓名从标题里去掉、改用公司和技术主线来改写;同时先把采访的时间、场合和原始表述核实清楚。

先把那天最硬的一组数字摆出来:350 亿参数的 MoE 多模态模型,只占约 3GB 运行内存,在手机上跑出 30 Token/s 以上的生成速度,精度损失几乎可以忽略。这是面壁智能在 11 月 5 日端侧多模态大模型技术交流活动上披露的最新优化结果,团队联席首席科学家、清华大学人工智能学院助理教授姚远同时给出一个大胆判断 —— 按过去几代旗舰模型向端侧迁移的节奏,未来两年内,GPT-6 级别的智能能力有望在手机上以约 3GB 内存流畅运行。他还补了一句更值得琢磨的话:眼下行业演示的 AI 手机功能,大多集中在点外卖、订机票这类流程化任务,这些场景已经跑通,真正缺的是对交互方式的重新设计。三个判断连起来看,指向同一件事:端侧的门槛正从 "能不能跑" 转向 "跑起来之后做什么"。

一、活动信息与说话人身份先对齐

项目口径
活动面壁智能端侧多模态大模型技术交流活动
时间2026 年 11 月 5 日
核心发布MiniCPM-V 4.7 35B-A3B 最新推理优化结果
主讲人身份面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远
同场分享多模态实验室余天予(智能密度)、蔡天驰(底层推理优化)
现场演示搭载 MiniCPM-V 4.7 的 iPhone Duo,实测解码约 25 Token/s

需要分清的是:这场是技术交流活动,不是新品发布会;MiniCPM-V 4.7 系列(35B-A3B 与 1B 两个版本)早在 10 月 13 日就已发布并开源,这次讲的是把同一模型的手机端速度又往上推了一档。

二、30 Token/s 这个数字,是怎么一步步挪上去的

同样一颗 iPhone 17 Pro Max,同样一个 350 亿参数模型,速度差异全在工程优化上。

阶段优化动作生成速度内存占用
常规专家读取每层先定专家、再从闪存读权重约 3 Token/s—
引入 LES 前瞻专家调度计算当前层时提前预取下一层权重约 13 Token/s—
叠加新一代手机硬件更大共享内存、更强 NPU约 20 Token/s—
最新一轮优化调度与量化继续打磨30 Token/s 以上约 3GB
参照:iPad Pro M4 16GBLES 加持超 17 Token/s(平均提升约 5 倍)16GB 设备

这张表想说明一件事:端侧竞赛的胜负手,很多时候不在模型结构,而在 "数据搬运"。纯计算时间其实只有约 50 毫秒 / Token(理论 20 Token/s),但常规闪存读取会额外拖进约 250 毫秒,速度直接掉到 2 至 3 Token/s。把等待藏进计算里,才换来了 10 倍级的提升。

三、350 亿参数塞进手机:LES 到底做了什么

模型完整权重约 65.6GiB,普通手机内存根本装不下;但闪存装得下,问题只是 "读得慢"。LES 的思路是把串行改并行。

  • 提前预测:利用 Transformer 相邻层的残差连接特性,在当前层计算时预测下一层要用的专家,同步把权重从闪存搬到内存。
  • 命中率有账可算:一层 256 个候选专家、实际激活 8 个,提前猜 8 个命中率约 80%(通常能猜中 6 至 7 个);扩大到 16 个可提到约 96%,但多读也增加开销,得找平衡点。
  • 猜错不影响结果:预测只改变读取顺序,模型仍按原路由机制选择专家,所以输出不变 —— 这也是它能叫 "无损" 的原因。
  • 配套三招:重组专家权重存储布局让数据连续排列、逐层混合精度量化压缩体积、DSpark 投机解码一次验证多个候选 Token。

一句话概括这套组合:用 "猜得准" 换 "等得少",再用 "存得巧" 换 "占得少"。

四、两把尺子:什么叫 "撞线",什么叫 "等智能线"

姚远给端侧智能划了两条判断线,这是他整套论述里最有方法论价值的部分。

概念定义用途
撞线端侧模型能力超过某类任务所需的最低门槛,这类任务就具备从云端迁到本地的条件判断 "哪些场景可以本地跑"
等智能线以某代云端旗舰能力为基准,看达到同等能力所需参数量随时间下降的曲线,与端侧可承载规模曲线的交点判断 "某代能力何时能上端侧"
智能密度定律模型智能密度约每 3.5 个月翻一番,同等能力所需参数量约每 3.5 个月减半给上面两条线提供斜率

按这套尺子,他把智能需求分成两类:一类是设计先进芯片、开发大型软件这种几乎没有能力上限的任务;另一类是日常生活工作中能力要求稳定、存在明确上限的任务。后者只要端侧持续变强,就一定会被逐段 "撞线"。他的判断是:以 GPT-4V、GPT-4o 这类历史旗舰为参照,端侧已经跨过了一些门槛;以更强的新一代模型为标准,端侧仍有距离 —— 但不能靠不断抬高评价标准,否认已经跨过去的部分。

五、智能密度靠三条工程路径撑起来

参数不是白来的,密度是一点点抠出来的。

  • 视觉侧压缩:MiniCPM-V 2.5 用图像切分,后续引入时空联合压缩,到 4.5 已实现最高 96 倍视觉压缩;4.7 引入 LLaVA-UHD v4 把压缩前移到视觉编码器内部,再减约一半计算。4 倍模式保细节(文档解析),16 倍模式省算力(实时交互)。
  • 后训练提质:RLHF-V 把 "打分" 改成 "直接纠错",RLAIF-V 用 AI 反馈替代部分人工,RLPR 基于概率奖励减少对专用验证器的依赖。
  • 不忘旧本事:自回放微调(Self-Replay)让模型学新任务时复习原有能力,实验显示微调导致的遗忘减少 80% 至 99%,成本接近普通监督微调。
  • 算力侧自制:模型与 Infra 自研,硬件靠生态伙伴;芯片级适配由 "模型 + Harness" 的 Forge 范式自动产出定制算子,把原本数月的优化周期压到数十小时。

六、为什么 "点外卖、订机票" 还不够

这是全场最容易被断章取义的一句,实际指向很明确:这些演示证明的是流程已经跑通,而不是体验已经到位。

现存门槛具体表现突破方向
模型能力复杂任务仍力不从心,跨应用长链条易中断端侧能力继续上探(30B 级 MoE、全双工全模态)
系统权限应用数据与操作权限受厂商限制,智能体难跨应用执行生态开放,操作系统层给出可信调用机制
功耗与续航全天候常驻当前不现实调度优化、稀疏激活、芯片协同
交互范式演示集中在订票、点外卖这类单点任务从 "用户提需求" 转向 "伴随态主动感知"

他给的方向是 "伴随态":模型不是等你提问才应答,而是一边看、一边听、一边判断该不该说话。面壁此前开源的 MiniCPM-o 4.5 走的就是这条路 —— 全双工、可打断、可插话,8B 到 9B 规模就能在断网弱网环境稳定运行。他甚至认为,未来可能不再需要单独强调 "AI 手机" 这个词,因为 AI 会像触屏一样变成手机的基础能力,那时硬件形态和交互方式都会跟着变。

七、端和云怎么分工

  • 能本地就本地:多模态数据量大、持续产生、隐私敏感,照片、邮件、日程、录音优先在端上处理。
  • 复杂的先抽象再上云:遇到重逻辑推理,本地先把问题抽象、脱敏,再交给云端,最后由本地结合个人场景生成结果。
  • 网络不稳场景必须本地:车里进隧道、地下停车场,涉及交互与控制的功能不能依赖连接。
  • 端云协同仍是主线:端侧变强不等于云端退场,而是任务分层更清晰。

八、哪些是已验证,哪些还是预测

说法证据强度备注
35B-A3B 在手机 3GB 内存跑 30 Token/s 以上官方披露 + 现场实测 25 Token/s机型、量化方案、任务类型不同会有差异
LES 提速约 5 倍且不改变输出官方测试数据(iPad Pro M4 16GB)提升幅度随设备与负载变化
多模态水平超过 2023 年云端旗舰 GPT-4V团队自评属能力对标判断,非第三方横评
端侧模型综合分接近 90 分(对比 Apple Intelligence 本地模型 54 至 55 分)团队内部约 10 项基准测试测试集与口径未公开,只宜作参考
两年内 GPT-6 级能力上手机、3GB 内存基于历史迁移节奏的推断本人明确称 "尚未形成广泛共识"
千元机可用上一代 1B 版本已能在部分千元机跑 15 Token/s 以上35B-A3B 面向能力上限,1B 面向普惠

这张表想说明一件事:"能跑" 是事实,"跑到什么水平" 要对口径,"两年内到什么水平" 是判断。三者混着说,最容易失真。

九、结论

把这场分享拆开看,它其实讲了三层递进:工程层,用 LES 把 350 亿参数模型的手机速度从 3 Token/s 推到 30 Token/s 以上,证明内存和带宽这道墙可以被绕;方法层,用 "撞线" 和 "等智能线" 两把尺子,把 "端侧能干什么" 变成可计算的判断,而不是感觉;产品层,指出 AI 手机当前最缺的不是功能清单,而是交互范式 —— 点外卖、订机票这类任务证明流程通了,但离 "伴随态" 还很远。至于两年内 GPT-6 级能力上手机这个预测,它是基于 "云端旗舰能力约两年迁移到端侧" 的历史斜率外推,方向值得重视,但仍属尚未形成共识的判断。对行业的启示很朴素:端侧这仗赢在 "通道与配合"—— 带宽、调度、系统权限、功耗,哪一环松了,模型再强也跑不出体验。

【常见问题】

问题 1:面壁智能说的 "两年内 GPT-6 级 AI 跑在手机上",具体是什么口径?

回答 1:指的是未来端侧模型能达到与 GPT-6 相近的智能水平,而不是把 GPT-6 原样部署到手机上;约束条件是约 3GB 运行内存与较流畅的生成速度。这一判断由面壁智能联席首席科学家姚远基于 "云端旗舰能力约两年迁移到端侧" 的历史节奏外推得出,本人也明确表示这属于尚未形成广泛共识的观点。

问题 2:350 亿参数的 MiniCPM-V 4.7 35B-A3B,为什么 3GB 内存就能在手机上跑?

回答 2:关键在 MoE 稀疏激活加 LES 前瞻专家调度。模型总参数 350 亿,但每个 Token 只激活约 30 亿参数,大部分权重存在闪存里;LES 在当前层计算时提前预测下一层要用的专家并同步预取,把闪存读取的等待藏进计算过程,从而在约 3GB 内存下实现 30 Token/s 以上的生成速度,且不改变模型输出。

问题 3:面壁智能提到的 "点外卖、订机票有点无聊",是在否定这些功能吗?

回答 3:不是否定功能,而是指出演示层面的局限。点外卖、订机票说明端侧智能体的流程已经跑通,但这类单点任务无法体现 AI 原生手机的想象力。按姚远的说法,真正的 AI 原生手机需要重新思考交互方式,方向是边看、边听、能主动判断时机的伴随态交互,而这条路还受模型能力、系统权限和功耗三重约束。

问题 4:端侧模型越来越强,云端 AI 会不会被替代?

回答 4:不会,端云协同仍是主线。面壁智能的判断是任务分层会更清晰:照片、邮件、日程、录音这类数据量大且隐私敏感的多模态信息优先在端上处理;重逻辑推理任务可先在本地抽象脱敏再交给云端;隧道、地下停车场等弱网场景则必须本地闭环。端侧变强改变的是分工比例,不是取代关系。

问题 5:普通用户什么时候能在千元机上用上这类端侧模型?

回答 5:路径已经打开。面壁智能把 35B-A3B 定位为冲击能力上限,1B 版本面向普惠终端;上一代 1B 版本已能在部分千元机跑出 15 Token/s 以上的生成速度,团队给的体验基准是 8 Token/s 以下明显卡顿、15 Token/s 对文字对话已算流畅。随着推理效率继续提升,不同价位手机之间的 AI 体验差距有望缩小。

【数据来源】

  • [2026-11-05](面壁智能姚远:两年 GPT-6 级 AI 跑在手机上,现在点外卖订机票有点无聊)智东西
  • [2026-11-05](面壁智能姚远:两年 GPT-6 级 AI 跑在手机上,现在点外卖订机票有点无聊)腾讯新闻
  • [2026-10-27](面壁智能亮相 CNCC 2026:第三届端侧大模型论坛成功举办,定义端侧通用人工智能)中国日报网
  • [2026-10-19](Scaling Law 开始挤进手机了:30B 级端侧模型密集亮相与硬件账本)搜狐科技
  • [2026-10-13](端侧多模态新上限,350 亿参数 MoE 手机平板 3GB 内存畅跑,MiniCPM-V 4.7 正式开源)面壁智能官网
  • [2026-08-12](端侧模型企业面壁智能启动 IPO 辅导 最新估值超 200 亿元)财新网
  • [2026-07-20](面壁智能将密度定律带入具身智能:智能密度约每 3.5 个月翻一番)至顶网

【免责声明】

本文基于公开报道与企业公开资料整理,仅用于信息分享与技术观察,不构成对任何企业、产品或技术路线的推荐、投资或采购建议。文中模型参数、生成速度、内存占用、评测分数均为厂商披露或团队内部测试口径,测试机型、量化方案、任务类型不同会导致结果差异,实际表现请以面壁智能官方发布与技术文档为准。"两年内 GPT-6 级能力上手机" 为受访者个人判断,不代表行业共识,亦不构成对产品上市时间的预期。文中涉及的第三方模型对比数据来自厂商自测,未经过统一评测环境验证,仅供参考。

今日大家都在搜的词: