您的位置首页 >科技要闻 >

淘宝 MNN 开源 0.3B 端侧小模型,iPhone 18 Pro 离线推理可达 350 token/s

淘宝 MNN 团队放出全新开源 0.3B 参数手机大模型,依托 MNN 端侧推理框架做深度优化,在 iPhone 18 Pro 上可以完全离线本地运行,实测推理速度达到 350 token/s,这个成果主打轻量化本地 AI 能力,不用联网、不上传提示词,隐私性更好,适合手机端轻量问答、摘要、简单指令助手场景,开发者可以直接拉取代码、权重,基于 MNN 快速移植到安卓、iOS 各类移动端设备上。

一、项目核心信息梳理

1. 基础参数与性能信息

  • 模型规模:0.3B(3 亿参数)轻量化大模型
  • 推理框架:MNN(阿里淘宝自研端侧推理引擎)
  • 测试设备:iPhone 18 Pro
  • 性能表现:离线本地推理,350 token/s
  • 运行特点:全程离线,所有计算在手机本地 NPU/CPU 上完成,不依赖云端服务器

✅ 这套方案的优势清单

  • 响应速度快,打字交互几乎无延迟
  • 数据不出本机,用户提示词不会上传,隐私优势突出
  • 模型体积小,对手机存储、内存占用低
  • MNN 跨平台,iOS、安卓、平板都可以适配部署

2. 适用和不适合的场景

✅ 适合场景:简短问答、文本润色、翻译、摘要、简单脚本生成、本地助理交互

❌ 不适合场景:长逻辑复杂推理、深度代码开发、长文档深度分析,0.3B 小模型能力上限有限

二、MNN 端侧方案对比参考

方案运行方式速度隐私能力上限
云端大模型联网调用服务器算力受网络波动影响提示词上传服务端高,大参数量
MNN 0.3B 离线模型手机本地 NPU/CPU 计算iPhone18 Pro 可达 350 token/s本地处理、不上传有限,轻量化定位

三、开发者部署这个开源 0.3B 模型的操作步骤

  1. 拉取 MNN 项目仓库,下载配套 0.3B 模型权重文件
  2. 编译对应平台 MNN 推理库,iOS 侧适配 Metal、安卓适配 NPU 加速
  3. 加载权重,开启量化、算子融合等优化选项
  4. 在测试机型上跑基准测试,核对 token 速度、内存占用
  5. 封装接口,集成到 App,做好缓存、显存回收逻辑
  6. 灰度测试,根据机型差异做性能降级适配

【常见问题】

问题 1:淘宝 MNN 团队开源 0.3B 手机模型,iPhone 18 Pro 离线跑出 350 token/s,是不是所有手机都能跑到这个速度?

回答 1:淘宝 MNN 开源的 0.3B 手机模型 350 token/s 是 iPhone18 Pro 的测试结果,不同手机芯片、NPU 能力不一样,老旧机型、安卓中低端机型速度会明显更低。

问题 2:MNN 这个 0.3B 离线模型,和手机厂商自带的 AI 助手模型有什么区别?

回答 2:淘宝 MNN 团队开源 0.3B 手机模型属于完全开源项目,开发者可以自由二次修改、集成到自己 App;手机系统自带 AI 模型大多闭源,开发者无法拿到权重和推理代码。

问题 3:这个 MNN 0.3B 离线模型速度很快,能不能拿来做复杂代码、长文本思考?

回答 3:MNN 开源的 0.3B 手机模型定位轻量化,虽然在 iPhone18 Pro 离线有 350 token/s 的高速度,但参数规模小,复杂推理、长文本逻辑任务效果偏弱,更适合简短轻量交互。

【数据来源】

[2026-11-05](淘宝 MNN 开源 0.3B 端侧模型,iPhone 18 Pro 离线性能公布)MNN GitHub

[2026-11-05](MNN 0.3B 手机大模型技术解读)InfoQ

[2026-11-04](阿里 MNN 端侧 AI 框架最新版本发布会内容)阿里技术公众号

【免责声明】

本文淘宝 MNN 0.3B 手机模型资讯为开源项目信息整理,350 token/s 为官方基准测试环境数据,实际 App 内运行速度会受 App 后台、系统调度、画质、内存占用影响;模型效果、能力边界需要开发者自行评估,开源协议、权重使用约束以仓库内 LICENSE 文件为准。

今日大家都在搜的词: