淘宝团队基于 MNN 框架开源了一款 0.3B 参数的手机端小模型,在离线运行环境下推理速度最高能跑到 350token/s,这个模型专门针对移动端硬件做了裁剪和优化,不用联网、不依赖云端算力就能在手机本地跑起来,适合做端侧问答、摘要、简单 AI 助手这类轻量 AI 场景,也方便开发者直接拿到代码在安卓、iOS 设备上二次开发。现在很多端侧 AI 模型要么速度慢、要么对手机性能要求很高,淘宝这次放出的 0.3B 模型,就是想平衡模型效果、包体大小和离线推理速度,依托 MNN 轻量化推理引擎降低手机 CPU、NPU 的运行压力。
淘宝 MNN 0.3B 手机模型核心参数亮点
- 参数规模:0.3B(3 亿参数),属于轻量级端侧模型
- 离线推理速度:最高 350token/s
- 运行底座:MNN 移动端推理框架
- 支持平台:安卓、iOS,支持 CPU、NPU 加速
- 使用方式:完全开源,开发者可本地部署、二次微调
- 适用场景:本地对话、文本摘要、内容分类、轻量智能交互
开发者部署这个 MNN 0.3B 手机模型的大致步骤
- 从开源仓库拉取淘宝 MNN 0.3B 手机模型权重、转换脚本和 demo 工程。
- 使用 MNN 工具链把模型权重转成 MNN 专属的离线模型格式,适配手机硬件。
- 在安卓或者 iOS 项目里接入 MNN SDK,配置 NPU/CPU 加速选项。
- 加载转换完成的模型,调用推理接口,测试离线 token 生成速度。
- 根据业务需求做 prompt 模板调整、轻量化微调,打包到 APP 里面。
整体来看,这款 MNN 0.3B 手机模型主打极速离线推理,350token/s 的速度在同参数级别里竞争力很强,但它本身参数很小,复杂逻辑推理、长文本理解能力有限,更适合简单端侧 AI 功能,不适合用来做复杂深度问答。
【常见问题】
问题 1:淘宝 MNN 开源的 0.3B 手机模型,离线 350token/s 是什么水平?
回答 1:淘宝 MNN 开源 0.3B 手机模型,离线达到 350token/s,在同是 0.3B 量级的手机离线模型里属于较快水平,依托 MNN 引擎优化,在中高端手机上可以实现流畅的本地文字输出。
问题 2:淘宝 MNN 这款 0.3B 手机模型,必须联网才能跑吗?
回答 2:淘宝 MNN 0.3B 手机模型支持离线运行,不需要联网,350token/s 这个速度指标也是在离线环境下测得,算力全部在手机本地完成。
问题 3:普通手机可以直接跑淘宝 MNN 开源的 0.3B 手机模型吗?
回答 3:大部分中新款安卓、iOS 手机都可以部署淘宝 MNN 0.3B 手机模型,开启 NPU 加速更容易跑到接近 350token/s 的速度,老旧低配手机速度会明显下降。
【数据来源】
[2026-11-05](淘宝 MNN 开源 0.3B 端侧模型,离线推理最高 350token/s)机器之心
[2026-11-04](MNN 新增 0.3B 手机大模型,主打移动端离线高速推理)InfoQ
[2026-11-03](阿里淘宝放出轻量化 0.3B 模型,基于 MNN 面向手机端开源)量子位
【免责声明】
本文仅为开源技术资讯整理,淘宝 MNN 0.3B 手机模型的 350token/s 为特定测试环境数据,不同手机硬件、加速方案下速度存在差异;模型能力、开源协议请以 MNN 官方开源仓库说明为准。
