您的位置首页 >科技要闻 >

淘宝开源0.3B端侧模型 手机离线跑350token/s

我先核实模型名称、参数规模与 “350 token/s” 的测试设备条件,再按固定模板成稿。

淘宝 MNN 开源 0.3B 手机端模型:iPhone 18 Pro 离线解码约 350token/s,INT4 部署包仅 173MB

11 月 6 日,淘宝旗下 MNN 团队发布并开源 MNN-Pocket-0.3B—— 一个约 3 亿参数、重点支持中文与英文的轻量语言模型,从模型结构、词表、训练数据、预训练与后训练方法到量化与推理引擎做了全链路协同设计。真机实测中,模型在 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行,平均 Decode 速度约 350token/s;INT4 的 MNN 部署文件仅 173MB,包含权重、分词器、计算图与推理配置。同条件下对比 Qwen3-0.6B,部署体积减少约 49%,峰值内存增量减少约 47%,而 iPad Pro M5 上 Decode 吞吐约为后者的 1.63 倍。

一、核心参数一张表

项目数据测试条件
参数规模约 3 亿(0.3B)稠密模型,28 层,GQA
语言支持中文、英文为重心基于 Qwen3 分词器,词表 151K 精简至 64K(-57%)
手机端离线解码约 350 token/siPhone 18 Pro,MNN 引擎,完全离线
部署包体积173MBINT4 量化,含权重 / 分词器 / 计算图 / 推理配置
iPad 端 Decode466 token/siPad Pro M5,Metal,512token 配置
iPad 端 Prefill8,721 token/s同上
安卓 CPU Decode251 token/s骁龙 8 Gen 5,CPU 后端
峰值内存增量228MBiPad Pro M5,Metal,512token
能耗约 2.7J / 轮增量一加 13,4-bit,CPU4 线程,输入 1024 / 输出 128
英文 IFEval73.20技术报告评测设置
中文 IFEval-zh74.59同上,所比较模型中最高
11 项评测均分50.00高于同规模模型及 MiniCPM4-0.5B、Qwen3-0.6B

二、3 亿参数怎么在手机上跑到 350 token/s,靠的是四件事同时压

小模型跑得快不稀奇,难的是在 “能力不掉太多” 的前提下把体积、内存、速度、功耗同时压住。

  • 先定资源预算,再定模型规模:团队把 “峰值内存低于 300MB、解码吞吐高于 200token/s” 作为架构选型目标,在 50M 到 1.3B 的稠密模型配置里扫了一遍,约 300M 是同时满足这两个约束的最大候选规模 —— 也就是说,0.3B 不是拍脑袋定的,是预算反推出来的上限。
  • 深度不是越深越好:16 层加到 28 层能力有提升,继续加到 36 层,评测均分不再提高,解码吞吐反而从 355token/s 降到 323token/s,所以最终锁定 28 层,配合 GQA。
  • 词表瘦身降开销:基于 Qwen3 分词器把词表从约 151K 精简到 64K,词条减少约 57%,直接减少了词嵌入与输出层的参数和存储,也降低了逐 Token 生成时的输出投影开销。
  • 引擎和量化一起调:INT4 量化加上 MNN 的端侧优化,让 173MB 的部署包能在手机上完全离线跑,且不去依赖特定厂商 NPU。

三、和 Qwen3-0.6B 的直接对比

对比项MNN-Pocket-0.3BQwen3-0.6B差异
部署文件体积173MB340MB减少约 49%
峰值内存增量228MB427MB减少约 47%
iPad Pro M5 Decode466 token/s286 token/s约 1.63 倍

体积减半、内存少一半,对手机应用的意义很直接:下载与更新成本更低,运行时给页面、图片、视频留出的内存更多,集成负担更小。

四、开发者拿到之后怎么用

  1. 选入口:团队开源了从预训练、后训练到端侧部署的多个版本,按用途挑起点。
  2. 跑通推理:用 MNN 3.6.2 加载 INT4 的 MNN 格式部署包,先做真机连通性验证。
  3. 测自己的场景:按官方设置预热一次、测五次取吞吐中位数,Prefill 与 Decode 分开测,别拿混合值当结论。
  4. 做任务适配:模型定位是 “手机应用原生” 底座,适合做任务理解、意图分类、结构化抽取这类短链路任务,再决定是否继续后训练。
  5. 控能耗:按目标机型的电池容量估算单次任务的增量能耗,再定调用频次与是否做本地缓存。

五、六个容易读错的口径

  • 350 token/s 是特定机型 + 完全离线:iPhone 18 Pro 上的 Decode 均值,不等于所有手机都能跑到,安卓侧骁龙 8 Gen 5 CPU 后端为 251token/s。
  • 466 token/s 是平板 + Metal 后端:iPad Pro M5、512token 配置下的 Decode,比手机的 350 更高,两者不能混用。
  • Prefill 和 Decode 是两件事:8,721token/s 是 Prefill(输入处理),466token/s 是 Decode(逐 Token 生成),标题里的速度指 Decode。
  • 355/323 token/s 是选型对比数据:这两个数出现在层数实验中,测试配置与最终部署版本不同,不能当作发布性能。
  • 173MB 是部署包而非运行时总占用:它包含权重、分词器、计算图和推理配置,实际运行内存看的是峰值增量 228MB 这一项。
  • 0.3B 不是通用大模型替代品:11 项评测均分 50.00 是相对同规模模型的表现,复杂推理与长文生成仍需更大模型。

六、一句话收束

这次开源的关键不是 “手机能跑大模型”,而是把 “内存 < 300MB、解码 > 200token/s” 当成硬预算反推出 0.3B 这个规模,再用层数、词表、量化、引擎四处协同把预算用满,最终让一个 173MB 的包在手机上完全离线跑到约 350token/s。

【常见问题】

问题 1:淘宝开源的 0.3B 端侧模型叫什么,多大?

回答 1:淘宝 MNN 团队开源的 0.3B 端侧模型叫 MNN-Pocket-0.3B,约 3 亿参数,重点支持中文与英文,采用 28 层结构与 GQA,提供从预训练到端侧部署的多个开源版本。

问题 2:这个 0.3B 端侧模型在手机上离线能跑多快?

回答 2:在 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行,MNN-Pocket-0.3B 平均 Decode 速度约 350token/s;安卓侧骁龙 8 Gen 5 的 CPU 后端 Decode 为 251token/s,iPad Pro M5 的 Metal 后端为 466token/s。

问题 3:淘宝这个 0.3B 端侧模型为什么能做到 350token/s?

回答 3:因为先设定了峰值内存低于 300MB、解码高于 200token/s 的预算再反推规模,最终选 28 层而非 36 层,词表从约 151K 精简到 64K,并配合 INT4 量化与 MNN 引擎优化,才把 0.3B 端侧模型的体积压到 173MB、速度拉到 350token/s。

问题 4:MNN-Pocket-0.3B 的部署包有多大,占多少内存?

回答 4:INT4 的 MNN 部署文件为 173MB,含权重、分词器、计算图与推理配置;iPad Pro M5、Metal、512token 配置下峰值内存增量为 228MB,比 Qwen3-0.6B 的 427MB 少约 47%。

问题 5:这个 0.3B 端侧模型的能力水平如何?

回答 5:按技术报告口径,MNN-Pocket-0.3B 英文 IFEval 为 73.20、中文 IFEval-zh 为 74.59,均为所比较模型中最高;11 项中英文评测均分 50.00,高于同规模模型及 MiniCPM4-0.5B、Qwen3-0.6B 等更大规模模型。

问题 6:开发者怎么用淘宝开源的 0.3B 端侧模型?

回答 6:可以从预训练、后训练或端侧部署版本中选择起点,用 MNN 3.6.2 加载 INT4 部署包做真机验证,按官方方式分开测 Prefill 与 Decode 吞吐并取中位数,再针对手机应用的任务场景做适配与后训练。

【数据来源】

  • [2026-11-06](淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s)IT 之家
  • [2026-11-05](淘宝 MNN 团队开源 0.3B 手机模型,iPhone 18 Pro 上离线跑出 350 token/s)凤凰网
  • [2024-11-20](MNN 在大模型端侧部署上的探索)开源中国

免责声明:本文数据引自 MNN 团队公开技术说明及媒体报道,速度、内存、能耗指标均在特定机型与特定测试配置下取得(MNN 3.6.2、INT4 量化、统一运行设置),不同设备与后端环境结果会有差异;评测分数基于技术报告采用的测试设置,不代表全部场景表现。文中内容仅用于技术信息传播参考,不构成产品选型建议或性能承诺,据此作出的任何决策,本文不承担相应责任。

今日大家都在搜的词: