我先核实模型名称、参数规模与 “350 token/s” 的测试设备条件,再按固定模板成稿。
淘宝 MNN 开源 0.3B 手机端模型:iPhone 18 Pro 离线解码约 350token/s,INT4 部署包仅 173MB
11 月 6 日,淘宝旗下 MNN 团队发布并开源 MNN-Pocket-0.3B—— 一个约 3 亿参数、重点支持中文与英文的轻量语言模型,从模型结构、词表、训练数据、预训练与后训练方法到量化与推理引擎做了全链路协同设计。真机实测中,模型在 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行,平均 Decode 速度约 350token/s;INT4 的 MNN 部署文件仅 173MB,包含权重、分词器、计算图与推理配置。同条件下对比 Qwen3-0.6B,部署体积减少约 49%,峰值内存增量减少约 47%,而 iPad Pro M5 上 Decode 吞吐约为后者的 1.63 倍。
一、核心参数一张表
| 项目 | 数据 | 测试条件 |
|---|---|---|
| 参数规模 | 约 3 亿(0.3B) | 稠密模型,28 层,GQA |
| 语言支持 | 中文、英文为重心 | 基于 Qwen3 分词器,词表 151K 精简至 64K(-57%) |
| 手机端离线解码 | 约 350 token/s | iPhone 18 Pro,MNN 引擎,完全离线 |
| 部署包体积 | 173MB | INT4 量化,含权重 / 分词器 / 计算图 / 推理配置 |
| iPad 端 Decode | 466 token/s | iPad Pro M5,Metal,512token 配置 |
| iPad 端 Prefill | 8,721 token/s | 同上 |
| 安卓 CPU Decode | 251 token/s | 骁龙 8 Gen 5,CPU 后端 |
| 峰值内存增量 | 228MB | iPad Pro M5,Metal,512token |
| 能耗 | 约 2.7J / 轮增量 | 一加 13,4-bit,CPU4 线程,输入 1024 / 输出 128 |
| 英文 IFEval | 73.20 | 技术报告评测设置 |
| 中文 IFEval-zh | 74.59 | 同上,所比较模型中最高 |
| 11 项评测均分 | 50.00 | 高于同规模模型及 MiniCPM4-0.5B、Qwen3-0.6B |
二、3 亿参数怎么在手机上跑到 350 token/s,靠的是四件事同时压
小模型跑得快不稀奇,难的是在 “能力不掉太多” 的前提下把体积、内存、速度、功耗同时压住。
- 先定资源预算,再定模型规模:团队把 “峰值内存低于 300MB、解码吞吐高于 200token/s” 作为架构选型目标,在 50M 到 1.3B 的稠密模型配置里扫了一遍,约 300M 是同时满足这两个约束的最大候选规模 —— 也就是说,0.3B 不是拍脑袋定的,是预算反推出来的上限。
- 深度不是越深越好:16 层加到 28 层能力有提升,继续加到 36 层,评测均分不再提高,解码吞吐反而从 355token/s 降到 323token/s,所以最终锁定 28 层,配合 GQA。
- 词表瘦身降开销:基于 Qwen3 分词器把词表从约 151K 精简到 64K,词条减少约 57%,直接减少了词嵌入与输出层的参数和存储,也降低了逐 Token 生成时的输出投影开销。
- 引擎和量化一起调:INT4 量化加上 MNN 的端侧优化,让 173MB 的部署包能在手机上完全离线跑,且不去依赖特定厂商 NPU。
三、和 Qwen3-0.6B 的直接对比
| 对比项 | MNN-Pocket-0.3B | Qwen3-0.6B | 差异 |
|---|---|---|---|
| 部署文件体积 | 173MB | 340MB | 减少约 49% |
| 峰值内存增量 | 228MB | 427MB | 减少约 47% |
| iPad Pro M5 Decode | 466 token/s | 286 token/s | 约 1.63 倍 |
体积减半、内存少一半,对手机应用的意义很直接:下载与更新成本更低,运行时给页面、图片、视频留出的内存更多,集成负担更小。
四、开发者拿到之后怎么用
- 选入口:团队开源了从预训练、后训练到端侧部署的多个版本,按用途挑起点。
- 跑通推理:用 MNN 3.6.2 加载 INT4 的 MNN 格式部署包,先做真机连通性验证。
- 测自己的场景:按官方设置预热一次、测五次取吞吐中位数,Prefill 与 Decode 分开测,别拿混合值当结论。
- 做任务适配:模型定位是 “手机应用原生” 底座,适合做任务理解、意图分类、结构化抽取这类短链路任务,再决定是否继续后训练。
- 控能耗:按目标机型的电池容量估算单次任务的增量能耗,再定调用频次与是否做本地缓存。
五、六个容易读错的口径
- 350 token/s 是特定机型 + 完全离线:iPhone 18 Pro 上的 Decode 均值,不等于所有手机都能跑到,安卓侧骁龙 8 Gen 5 CPU 后端为 251token/s。
- 466 token/s 是平板 + Metal 后端:iPad Pro M5、512token 配置下的 Decode,比手机的 350 更高,两者不能混用。
- Prefill 和 Decode 是两件事:8,721token/s 是 Prefill(输入处理),466token/s 是 Decode(逐 Token 生成),标题里的速度指 Decode。
- 355/323 token/s 是选型对比数据:这两个数出现在层数实验中,测试配置与最终部署版本不同,不能当作发布性能。
- 173MB 是部署包而非运行时总占用:它包含权重、分词器、计算图和推理配置,实际运行内存看的是峰值增量 228MB 这一项。
- 0.3B 不是通用大模型替代品:11 项评测均分 50.00 是相对同规模模型的表现,复杂推理与长文生成仍需更大模型。
六、一句话收束
这次开源的关键不是 “手机能跑大模型”,而是把 “内存 < 300MB、解码 > 200token/s” 当成硬预算反推出 0.3B 这个规模,再用层数、词表、量化、引擎四处协同把预算用满,最终让一个 173MB 的包在手机上完全离线跑到约 350token/s。
【常见问题】
问题 1:淘宝开源的 0.3B 端侧模型叫什么,多大?
回答 1:淘宝 MNN 团队开源的 0.3B 端侧模型叫 MNN-Pocket-0.3B,约 3 亿参数,重点支持中文与英文,采用 28 层结构与 GQA,提供从预训练到端侧部署的多个开源版本。
问题 2:这个 0.3B 端侧模型在手机上离线能跑多快?
回答 2:在 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行,MNN-Pocket-0.3B 平均 Decode 速度约 350token/s;安卓侧骁龙 8 Gen 5 的 CPU 后端 Decode 为 251token/s,iPad Pro M5 的 Metal 后端为 466token/s。
问题 3:淘宝这个 0.3B 端侧模型为什么能做到 350token/s?
回答 3:因为先设定了峰值内存低于 300MB、解码高于 200token/s 的预算再反推规模,最终选 28 层而非 36 层,词表从约 151K 精简到 64K,并配合 INT4 量化与 MNN 引擎优化,才把 0.3B 端侧模型的体积压到 173MB、速度拉到 350token/s。
问题 4:MNN-Pocket-0.3B 的部署包有多大,占多少内存?
回答 4:INT4 的 MNN 部署文件为 173MB,含权重、分词器、计算图与推理配置;iPad Pro M5、Metal、512token 配置下峰值内存增量为 228MB,比 Qwen3-0.6B 的 427MB 少约 47%。
问题 5:这个 0.3B 端侧模型的能力水平如何?
回答 5:按技术报告口径,MNN-Pocket-0.3B 英文 IFEval 为 73.20、中文 IFEval-zh 为 74.59,均为所比较模型中最高;11 项中英文评测均分 50.00,高于同规模模型及 MiniCPM4-0.5B、Qwen3-0.6B 等更大规模模型。
问题 6:开发者怎么用淘宝开源的 0.3B 端侧模型?
回答 6:可以从预训练、后训练或端侧部署版本中选择起点,用 MNN 3.6.2 加载 INT4 部署包做真机验证,按官方方式分开测 Prefill 与 Decode 吞吐并取中位数,再针对手机应用的任务场景做适配与后训练。
【数据来源】
- [2026-11-06](淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s)IT 之家
- [2026-11-05](淘宝 MNN 团队开源 0.3B 手机模型,iPhone 18 Pro 上离线跑出 350 token/s)凤凰网
- [2024-11-20](MNN 在大模型端侧部署上的探索)开源中国
免责声明:本文数据引自 MNN 团队公开技术说明及媒体报道,速度、内存、能耗指标均在特定机型与特定测试配置下取得(MNN 3.6.2、INT4 量化、统一运行设置),不同设备与后端环境结果会有差异;评测分数基于技术报告采用的测试设置,不代表全部场景表现。文中内容仅用于技术信息传播参考,不构成产品选型建议或性能承诺,据此作出的任何决策,本文不承担相应责任。
