淘宝 MNN 团队放出了轻量化模型 MNN-Pocket-0.3B 的开源版本,在 iPhone 18 Pro 上跑离线解码,最高速度可以冲到 350 token/s,这个速度在移动端本地小模型里属于很强的水平,它不是靠堆模型参数,而是结合 MNN 推理框架做算子优化、内存布局、芯片指令适配,专门面向手机端离线大模型场景,不用联网、不用依赖云端,手机本地就能完成 LLM 推理,很适合做端侧 AI 助手、本地摘要、实时对话这类轻量 AI 功能,同时模型体积小、功耗可控,解决很多移动端离线模型跑起来慢、卡顿、发热严重的痛点。
为什么 MNN-Pocket-0.3B 在 iPhone 18 Pro 上能跑到 350 token/s
- 模型本身是 0.3B 参数量的轻量化设计
- MNN 框架深度针对苹果芯片做算子优化
- 优化 KV 缓存管理
- 内存布局与页缓存适配手机硬件
- 针对移动端解码链路做专项调优
参数量很小,权重体积低,加载速度快,对手机内存压力更小,天然适合端侧部署。
适配 Apple Silicon 的 Neon、Metal 后端,做量化、融合算子、KV 缓存优化,减少重复计算。
复用历史上下文,不用每次重新计算全部 token,大幅降低长对话场景的推理开销。
减少 CPU、GPU 之间的数据拷贝,降低内存带宽消耗,减少发热带来的降频。
重点优化自回归解码阶段,也就是大家常说的 token 生成环节,这也是离线模型速度瓶颈所在。
在 iPhone 端部署 MNN-Pocket-0.3B 实操步骤
- 拉取 MNN-Pocket-0.3B 开源仓库,下载量化后的权重文件,优先选择适配 Metal 的量化版本
- 本地编译 MNN 最新库,开启 Metal 后端、KV 缓存优化开关
- 在工程里接入 MNN 推理接口,配置模型路径、上下文窗口大小、量化参数
- 关闭不必要的后台进程,在 iPhone 18 Pro 上开启性能模式测试,采集 token/s 数据
- 做压测,观察长时间推理下的发热、降频情况,设置动态上下文上限,避免内存暴涨
- 接入业务层,封装对话接口,增加输入截断、输出限流、异常捕获逻辑
- 对比基线,和同参数量其他端侧模型做速度、回答效果对比,按需微调
模型对比参考表
| 模型 | 参数量 | 目标设备 | 离线解码速度 | 特点 |
|---|---|---|---|---|
| MNN-Pocket-0.3B | 0.3B | iPhone18 Pro | 最高 350 token/s | MNN 深度优化,轻量化,适合端侧实时对话 |
| 同类 0.3B 端侧 LLM | 0.3B | iPhone18 Pro | 普遍 100~200 token/s | 通用推理框架,没有针对性硬件调优 |
| 更大参数端侧模型 | 1B+ | iPhone18 Pro | 30~80 token/s | 效果更好,但速度慢、内存占用高 |
简单来说,这次 MNN-Pocket-0.3B 的亮点,是在很小参数量的基础上,依靠 MNN 框架的端侧优化把 iPhone 18 Pro 的离线解码速度拉到很高水平,适合对响应速度要求高、可以接受轻量模型能力的本地 AI 场景,给手机离线 AI 应用提供了新的选择。
【常见问题】
问题 1:淘宝 MNN 团队开源的 MNN-Pocket-0.3B,在 iPhone 18 Pro 上离线解码速度是多少?
回答 1:淘宝 MNN 团队开源的 MNN-Pocket-0.3B,在 iPhone 18 Pro 设备上离线解码最高可以达到 350 token/s,依靠轻量化模型和 MNN 框架算子优化实现高吞吐。
问题 2:MNN-Pocket-0.3B 为什么能在 iPhone 18 Pro 上做到 350 token/s 的离线解码速度?
回答 2:MNN-Pocket-0.3B 本身是 0.3B 轻量化模型,加上 MNN 针对苹果 Metal 后端、KV 缓存、算子融合、内存拷贝做深度优化,减少推理开销,所以 iPhone 18 Pro 离线解码可以跑到 350 token/s。
问题 3:MNN-Pocket-0.3B 适合哪些业务场景,iPhone 离线部署的时候有什么限制?
回答 3:MNN-Pocket-0.3B 适合 iPhone 端本地实时对话、文本摘要、简单指令助手这类离线场景;它是 0.3B 小模型,复杂推理能力有限,长时间连续推理会发热降频,350 token/s 是最优测试条件下的峰值速度。
【数据来源】
[2026-11-06](淘宝 MNN 团队开源 MNN-Pocket-0.3B,iPhone 18 Pro 离线解码飙升至 350 token/s)机器之心
[2026-11-05](MNN-Pocket 系列端侧小模型发布,Metal 后端性能测试)MNN 官方 GitHub
[2026-10-20](端侧 LLM 推理优化:KV 缓存与算子融合实践)InfoQ
[2026-09-12](移动端轻量化 LLM 部署方案对比)阿里云开发者社区
【免责声明】
本文内容仅为技术资讯分享,350 token/s 为实验室最优测试条件下的峰值指标,实际 iPhone 上的 MNN-Pocket-0.3B 离线速度会受温度、后台负载、上下文长度、量化版本影响。不同业务对模型能力、延迟、功耗要求不同,接入前请自行实测验证,直接部署引发的性能、稳定性问题,本内容不承担相关责任。
