您的位置首页 >人工智能 >

淘宝 MNN 团队开源 0.3B 端侧小模型,iPhone18 Pro 离线推理可达 350 token/s

淘宝 MNN 团队放出了 0.3B 参数手机端大模型,在 iPhone 18 Pro 设备上离线运行能够跑到 350 token/s,这个成绩靠 MNN 端侧推理框架做算子优化、内存裁剪、硬件调度,不用联网、不依赖云端算力,专门适配手机 NPU,0.3B 属于轻量小参数模型,主打本地问答、摘要、简单指令任务,适合手机里面隐私敏感、不想上传数据的场景。想要跑通这个模型,开发者一般先拉取开源仓库代码、下载模型权重,在 MNN 工具链里做模型转换、量化压缩,再编译适配苹果 CoreML/NPU 的部署包,最后在 iPhone 18 Pro 上测试推理速度、响应延迟。这个项目证明轻量离线模型在新款手机上已经可以做到很高的生成速度,也给电商 APP 本地智能助手、本地内容理解提供落地思路。

1. 项目核心信息清单

  • 开发主体:淘宝 MNN 团队
  • 模型规格:0.3B 参数轻量模型
  • 部署载体:iPhone 18 Pro
  • 离线推理速度:350 token/s
  • 底层依赖:MNN 端侧推理引擎,适配手机 NPU 加速
  • 特点:完全离线运行,数据不出本机

2. 云端大模型和该 MNN 离线 0.3B 模型对照

模式是否离线速度特点优势短板
云端大模型需要联网受网络波动影响能力更强、参数规模大隐私风险、有网络延迟、消耗流量
MNN 0.3B 离线模型离线本地运行iPhone18 Pro 可达 350 token/s无网络延迟、隐私更好参数小,复杂推理能力偏弱

3. 开发者部署这个模型的常规步骤

  1. 拉取 MNN 团队开源仓库,获取模型权重和转换脚本
  2. 根据目标设备选择量化方案(INT4/INT8),压缩模型体积
  3. 使用 MNN 工具把原始模型转为 MNN 支持的模型格式
  4. 对接苹果 CoreML、手机 NPU 加速接口,编译移动端 Demo
  5. 在 iPhone 18 Pro 上压测,统计 token 速度、内存占用、发热情况
  6. 封装接口,接入 APP 本地 AI 功能

【常见问题】

问题 1:淘宝 MNN 团队开源 0.3B 手机模型,iPhone 18 Pro 上离线 350 token/s 是什么水平?

回答 1:淘宝 MNN 团队开源 0.3B 手机模型,iPhone 18 Pro 离线跑出 350 token/s,在端侧离线小模型里属于很快的速度,依托新款苹果 NPU 和 MNN 算子优化实现。

问题 2:淘宝 MNN 团队开源 0.3B 手机模型,离线运行代表什么?

回答 2:淘宝 MNN 团队开源 0.3B 手机模型,离线运行意味着推理全程在 iPhone 本机完成,不用把输入文本上传到云端服务器,隐私性更好。

问题 3:淘宝 MNN 团队开源 0.3B 手机模型,是不是所有 iPhone 都能跑到 350 token/s?

回答 3:淘宝 MNN 团队开源 0.3B 手机模型,350 token/s 是 iPhone18 Pro 的测试结果,老款 iPhone 算力弱,速度会明显下降,并且受量化、内存、系统版本影响。

【数据来源】

[2026-11-04](淘宝 MNN 团队开源 0.3B 手机模型,iPhone 18 Pro 上离线跑出 350 token/s)机器之心

[2026-11-03](MNN 端侧 0.3B 模型开源,移动端 NPU 推理性能测试)InfoQ

[2026-11-02](阿里 MNN 最新端侧大模型发布)MNN 开源社区

【免责声明】

本文仅为开源项目技术科普,淘宝 MNN 0.3B 模型的 350 token/s 为特定测试环境下的指标,实际速度会受量化方式、系统负载、内存占用影响;模型能力、开源协议、更新计划以 MNN 官方仓库为准。

今日大家都在搜的词: