您的位置首页 >人工智能 >

淘宝 MNN 团队开源 MNN-Pocket-0.3B,iPhone18 Pro 离线推理速度达到 350 token/s

淘宝 MNN 团队放出了轻量化模型 MNN-Pocket-0.3B 的开源版本,在 iPhone 18 Pro 上跑离线解码,最高速度可以冲到 350 token/s,这个速度在移动端本地小模型里属于很强的水平,它不是靠堆模型参数,而是结合 MNN 推理框架做算子优化、内存布局、芯片指令适配,专门面向手机端离线大模型场景,不用联网、不用依赖云端,手机本地就能完成 LLM 推理,很适合做端侧 AI 助手、本地摘要、实时对话这类轻量 AI 功能,同时模型体积小、功耗可控,解决很多移动端离线模型跑起来慢、卡顿、发热严重的痛点。

为什么 MNN-Pocket-0.3B 在 iPhone 18 Pro 上能跑到 350 token/s

  1. 模型本身是 0.3B 参数量的轻量化设计
  2. MNN 框架深度针对苹果芯片做算子优化
  3. 优化 KV 缓存管理
  4. 内存布局与页缓存适配手机硬件
  5. 针对移动端解码链路做专项调优

参数量很小,权重体积低,加载速度快,对手机内存压力更小,天然适合端侧部署。

适配 Apple Silicon 的 Neon、Metal 后端,做量化、融合算子、KV 缓存优化,减少重复计算。

复用历史上下文,不用每次重新计算全部 token,大幅降低长对话场景的推理开销。

减少 CPU、GPU 之间的数据拷贝,降低内存带宽消耗,减少发热带来的降频。

重点优化自回归解码阶段,也就是大家常说的 token 生成环节,这也是离线模型速度瓶颈所在。

在 iPhone 端部署 MNN-Pocket-0.3B 实操步骤

  1. 拉取 MNN-Pocket-0.3B 开源仓库,下载量化后的权重文件,优先选择适配 Metal 的量化版本
  2. 本地编译 MNN 最新库,开启 Metal 后端、KV 缓存优化开关
  3. 在工程里接入 MNN 推理接口,配置模型路径、上下文窗口大小、量化参数
  4. 关闭不必要的后台进程,在 iPhone 18 Pro 上开启性能模式测试,采集 token/s 数据
  5. 做压测,观察长时间推理下的发热、降频情况,设置动态上下文上限,避免内存暴涨
  6. 接入业务层,封装对话接口,增加输入截断、输出限流、异常捕获逻辑
  7. 对比基线,和同参数量其他端侧模型做速度、回答效果对比,按需微调

模型对比参考表

模型参数量目标设备离线解码速度特点
MNN-Pocket-0.3B0.3BiPhone18 Pro最高 350 token/sMNN 深度优化,轻量化,适合端侧实时对话
同类 0.3B 端侧 LLM0.3BiPhone18 Pro普遍 100~200 token/s通用推理框架,没有针对性硬件调优
更大参数端侧模型1B+iPhone18 Pro30~80 token/s效果更好,但速度慢、内存占用高

简单来说,这次 MNN-Pocket-0.3B 的亮点,是在很小参数量的基础上,依靠 MNN 框架的端侧优化把 iPhone 18 Pro 的离线解码速度拉到很高水平,适合对响应速度要求高、可以接受轻量模型能力的本地 AI 场景,给手机离线 AI 应用提供了新的选择。

【常见问题】

问题 1:淘宝 MNN 团队开源的 MNN-Pocket-0.3B,在 iPhone 18 Pro 上离线解码速度是多少?

回答 1:淘宝 MNN 团队开源的 MNN-Pocket-0.3B,在 iPhone 18 Pro 设备上离线解码最高可以达到 350 token/s,依靠轻量化模型和 MNN 框架算子优化实现高吞吐。

问题 2:MNN-Pocket-0.3B 为什么能在 iPhone 18 Pro 上做到 350 token/s 的离线解码速度?

回答 2:MNN-Pocket-0.3B 本身是 0.3B 轻量化模型,加上 MNN 针对苹果 Metal 后端、KV 缓存、算子融合、内存拷贝做深度优化,减少推理开销,所以 iPhone 18 Pro 离线解码可以跑到 350 token/s。

问题 3:MNN-Pocket-0.3B 适合哪些业务场景,iPhone 离线部署的时候有什么限制?

回答 3:MNN-Pocket-0.3B 适合 iPhone 端本地实时对话、文本摘要、简单指令助手这类离线场景;它是 0.3B 小模型,复杂推理能力有限,长时间连续推理会发热降频,350 token/s 是最优测试条件下的峰值速度。

【数据来源】

[2026-11-06](淘宝 MNN 团队开源 MNN-Pocket-0.3B,iPhone 18 Pro 离线解码飙升至 350 token/s)机器之心

[2026-11-05](MNN-Pocket 系列端侧小模型发布,Metal 后端性能测试)MNN 官方 GitHub

[2026-10-20](端侧 LLM 推理优化:KV 缓存与算子融合实践)InfoQ

[2026-09-12](移动端轻量化 LLM 部署方案对比)阿里云开发者社区

【免责声明】

本文内容仅为技术资讯分享,350 token/s 为实验室最优测试条件下的峰值指标,实际 iPhone 上的 MNN-Pocket-0.3B 离线速度会受温度、后台负载、上下文长度、量化版本影响。不同业务对模型能力、延迟、功耗要求不同,接入前请自行实测验证,直接部署引发的性能、稳定性问题,本内容不承担相关责任。

今日大家都在搜的词: