您的位置首页 >人工智能 >

淘宝 MNN 开源 0.3B 手机端大模型,离线推理速度可达 350token/s

淘宝团队基于 MNN 框架开源了一款 0.3B 参数的手机端小模型,在离线运行环境下推理速度最高能跑到 350token/s,这个模型专门针对移动端硬件做了裁剪和优化,不用联网、不依赖云端算力就能在手机本地跑起来,适合做端侧问答、摘要、简单 AI 助手这类轻量 AI 场景,也方便开发者直接拿到代码在安卓、iOS 设备上二次开发。现在很多端侧 AI 模型要么速度慢、要么对手机性能要求很高,淘宝这次放出的 0.3B 模型,就是想平衡模型效果、包体大小和离线推理速度,依托 MNN 轻量化推理引擎降低手机 CPU、NPU 的运行压力。

淘宝 MNN 0.3B 手机模型核心参数亮点

  • 参数规模:0.3B(3 亿参数),属于轻量级端侧模型
  • 离线推理速度:最高 350token/s
  • 运行底座:MNN 移动端推理框架
  • 支持平台:安卓、iOS,支持 CPU、NPU 加速
  • 使用方式:完全开源,开发者可本地部署、二次微调
  • 适用场景:本地对话、文本摘要、内容分类、轻量智能交互

开发者部署这个 MNN 0.3B 手机模型的大致步骤

  1. 从开源仓库拉取淘宝 MNN 0.3B 手机模型权重、转换脚本和 demo 工程。
  2. 使用 MNN 工具链把模型权重转成 MNN 专属的离线模型格式,适配手机硬件。
  3. 在安卓或者 iOS 项目里接入 MNN SDK,配置 NPU/CPU 加速选项。
  4. 加载转换完成的模型,调用推理接口,测试离线 token 生成速度。
  5. 根据业务需求做 prompt 模板调整、轻量化微调,打包到 APP 里面。

整体来看,这款 MNN 0.3B 手机模型主打极速离线推理,350token/s 的速度在同参数级别里竞争力很强,但它本身参数很小,复杂逻辑推理、长文本理解能力有限,更适合简单端侧 AI 功能,不适合用来做复杂深度问答。

【常见问题】

问题 1:淘宝 MNN 开源的 0.3B 手机模型,离线 350token/s 是什么水平?

回答 1:淘宝 MNN 开源 0.3B 手机模型,离线达到 350token/s,在同是 0.3B 量级的手机离线模型里属于较快水平,依托 MNN 引擎优化,在中高端手机上可以实现流畅的本地文字输出。

问题 2:淘宝 MNN 这款 0.3B 手机模型,必须联网才能跑吗?

回答 2:淘宝 MNN 0.3B 手机模型支持离线运行,不需要联网,350token/s 这个速度指标也是在离线环境下测得,算力全部在手机本地完成。

问题 3:普通手机可以直接跑淘宝 MNN 开源的 0.3B 手机模型吗?

回答 3:大部分中新款安卓、iOS 手机都可以部署淘宝 MNN 0.3B 手机模型,开启 NPU 加速更容易跑到接近 350token/s 的速度,老旧低配手机速度会明显下降。

【数据来源】

[2026-11-05](淘宝 MNN 开源 0.3B 端侧模型,离线推理最高 350token/s)机器之心

[2026-11-04](MNN 新增 0.3B 手机大模型,主打移动端离线高速推理)InfoQ

[2026-11-03](阿里淘宝放出轻量化 0.3B 模型,基于 MNN 面向手机端开源)量子位

【免责声明】

本文仅为开源技术资讯整理,淘宝 MNN 0.3B 手机模型的 350token/s 为特定测试环境数据,不同手机硬件、加速方案下速度存在差异;模型能力、开源协议请以 MNN 官方开源仓库说明为准。

今日大家都在搜的词: