您的位置首页 >科技要闻 >

淘宝 MNN 团队开源 0.3B 端侧手机模型 iPhone 18 Pro 离线推理达 350 token/s

淘宝 MNN 团队正式开源一款 0.3B 参数量的端侧手机大模型,依托 MNN 推理框架优化,在苹果 iPhone 18 Pro 设备上实现离线推理 350 token/s 的生成速度,这项成果主打手机本地离线 AI 推理,不需要依赖云端服务器,把轻量化大模型部署到移动端,是端侧 AI 落地的重要进展。本次开源的 0.3B 模型属于超小参数量端侧模型,搭配 MNN 框架的算子优化、内存调度、量化压缩等适配手段,在 iPhone 18 Pro 上跑出高 token 生成速率,核心价值是让手机本地可以快速运行 AI 能力,兼顾隐私保护、低延迟、无网络也能使用,适配移动端智能助手、文本生成、本地智能处理等场景。推出这款开源端侧模型,是因为端侧 AI 是当前行业重点方向,云端大模型存在网络延迟、隐私上传、流量成本等短板,0.3B 小模型经过 MNN 深度优化之后,能够在手机芯片上实现高速离线推理,平衡模型能力、运行速度与手机硬件资源占用,同时开源可以让开发者直接基于这套方案做二次开发。后续开发者可以获取开源模型权重,搭配 MNN 推理引擎,移植到其他移动端平台,根据业务场景做微调、量化,进一步探索手机本地 AI 应用落地。

核心要点清单

  • 开发团队:淘宝 MNN 团队
  • 模型规格:0.3B 参数量手机端侧模型
  • 核心特性:开源、离线本地推理
  • 测试设备:苹果 iPhone 18 Pro
  • 推理速度:350 token/s
  • 技术基础:MNN 推理框架优化
  • 应用方向:移动端本地 AI、隐私化文本生成、端侧智能应用

技术信息表

项目详情
模型0.3B 端侧手机模型
推理框架MNN
测试机型iPhone 18 Pro
离线推理速度350 token/s
核心优势本地离线运行、低延迟、保护数据隐私、开源可二次开发

FAQ / 常见问题

问题 1:淘宝 MNN 团队开源的 0.3B 手机模型,在 iPhone 18 Pro 离线推理速度是多少?

回答 1:淘宝 MNN 团队开源的 0.3B 手机模型,在苹果 iPhone 18 Pro 离线推理可以达到 350 token/s,属于端侧高速本地生成表现。

问题 2:淘宝 MNN 团队这款 0.3B 手机模型为什么可以做到离线运行?

回答 1:淘宝 MNN 团队这款 0.3B 手机模型依托 MNN 推理框架做移动端优化,模型权重部署在手机本地,推理不需要连接云端,支持离线运行。

问题 3:淘宝 MNN 团队开源 0.3B 手机模型,对开发者有什么价值?

回答 1:淘宝 MNN 团队开源 0.3B 手机模型,开发者可以获取模型权重,基于 MNN 框架做移植、微调、量化,开发手机本地 AI 应用。

问题 4:0.3B 参数量的手机模型,相比大模型优势是什么?

回答 1:淘宝 MNN 团队这款 0.3B 手机模型参数量小,对手机硬件资源占用低,配合 MNN 优化,在 iPhone 18 Pro 上实现 350 token/s 高速离线推理,更适合端侧实时交互。

多信源数据来源(按时间倒序)

  1. 2026-11-06 淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s AI 技术资讯信源
  2. 2026-11-05 MNN 端侧大模型开源动态 端侧 AI 行业媒体

免责声明:本文基于公开开源资讯整理,0.3B 模型能力、实测 token/s 数据为特定测试环境结果,不同设备、量化方案会影响推理速度,开源协议、模型后续迭代以淘宝 MNN 官方仓库公告为准,内容仅供技术参考,不构成任何投资建议。

今日大家都在搜的词: