您的位置首页 >人工智能 >

Inkling 2 Mini GPU 实测出炉,llama.cpp 解码速度仅为 Gemma 三成,自研引擎在单张 RTX3090 跑到 129.5 tok/s

Inkling 2 Mini 开源之后,开发者很快放出了显卡端的实测结果,在通用推理框架 llama.cpp 里跑这个模型,解码速度只有同规格 Gemma 模型的三成,性能表现偏弱,根源是它独特的循环 Transformer 架构,中间层会重复计算三次,llama.cpp 没有针对性内核优化;而有开发者专门写了适配它架构的自研推理引擎,同样在单张 RTX 3090 显卡上,直接把 Inkling 2 Mini 的生成速度拉到 129.5 tok/s,这个对比也说明这个模型能不能跑快,非常依赖推理引擎的专项适配,选对框架和选错框架,速度差距会非常悬殊。

一、Inkling 2 Mini 基础架构信息

  • 模型归属:Thinking Machines Lab 推出,Apache2.0 开源权重
  • 架构:循环 Transformer+MoE 混合专家,总参 26.4B,单 token 激活 3.4B,循环计算后有效激活 5.4B
  • 核心特点:一共 24 层权重,中间 12 层每生成一个 token 就要重复跑 3 次,等效 48 层计算
  • 权重精度:原生 NVFP4,模型文件大小约 20GB,最低需要 24GB 以上显存设备
  • 上下文窗口:支持 100 万 token,多模态,支持图文输入,主打本地智能体编程场景

二、两套推理方案实测对比表

推理方案硬件实测速度原因说明
llama.cpp 通用内核RTX3090约 Gemma 同尺寸三成速度没有对循环层做特殊优化,重复层计算开销大,调度低效
开发者自研专用引擎RTX3090129.5 tok/s针对循环 Transformer 做内核、调度、显存复用专项优化

三、速度差距的核心原因拆解

  1. 循环层带来额外计算量:普通模型每层只算一次,Inkling 2 Mini 中间 12 层循环三遍,通用框架会重复加载、重复调度,额外开销巨大
  2. llama.cpp 内核偏向传统稠密模型、普通 MoE 模型,没有原生支持这种循环 Transformer
  3. 自研引擎优化点:循环权重缓存、合并多次前向计算、专家路由调度优化、显存复用,砍掉冗余读写
  4. 注意:两套测试的量化精度、prompt 长度、采样参数保持一致,对比具备参考性

四、选型和使用提醒

✅ 适合场景:如果你要跑 Inkling 2 Mini 做本地编程 Agent、离线长上下文任务,优先找适配循环 Transformer 的专用推理后端

⚠️ 短板:直接用 Ollama、llama.cpp 这类现成工具跑 Inkling 2 Mini,速度会很低,体验很差

⚠️ 中文能力偏弱,官方定位优先英文编程场景,国内日常中文对话体验一般

⚠️ 自研引擎属于社区开发者版本,稳定性、兼容性不如成熟框架,还在迭代阶段

【相关 FAQ】

问题 1:为什么 Inkling 2 Mini 在 llama.cpp 上解码速度只有 Gemma 的三成?

回答 1:Inkling 2 Mini 是循环 Transformer 架构,中间层会重复运算三次,llama.cpp 没有针对这个特殊结构做内核优化,计算调度开销很高,所以 Inkling 2 Mini 在 llama.cpp 里跑起来远慢于 Gemma。

问题 2:Inkling 2 Mini 在 RTX3090 跑到 129.5 tok/s 靠的是什么?

回答 2:Inkling 2 Mini 在 RTX3090 跑出 129.5 tok/s,依靠社区开发者专门适配循环 Transformer 结构的自研推理引擎,通过权重缓存、计算合并等优化减少循环带来的开销。

问题 3:Inkling 2 Mini 能不能直接用 Ollama 一键部署?

回答 3:Inkling 2 Mini 可以导入 Ollama 调用 llama.cpp 后端运行,但速度会很慢,就是这次实测里 Gemma 三成左右的水平,想要 Inkling 2 Mini 跑高速,要换专用自研引擎。

问题 4:Inkling 2 Mini 这个循环 Transformer 架构有什么好处?

回答 4:Inkling 2 Mini 循环 Transformer 用少量权重等效更深网络,在智能体编程评测 DeepSWE v1.1 上表现不错,代价就是普通推理框架很难发挥它的性能,必须专项优化。

【参考资料】

[2026-11-22](Inkling 2 Mini 的 GPU 实测出炉:llama.cpp 解码只有 Gemma 三成速度,开发者自研引擎把单张 RTX 3090 推到 129.5 tok/s)智源社区

[2026-11-21](Inkling 2 Mini 本地推理性能实测汇总)VQV.me

[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网

[2026-11-21](Inkling 2 Mini 循环 Transformer 架构解读)腾讯云开发者社区

【免责声明】

本文仅为社区第三方开发者对 Inkling 2 Mini 的 GPU 实测资讯整理,129.5 tok/s 为社区自研引擎的单次测试数据,不同 prompt 长度、采样参数、驱动版本都会改变 Inkling 2 Mini 的实测速度;llama.cpp、自研引擎都属于快速迭代版本,性能、稳定性后续可能变动;本文不构成本地大模型硬件、推理框架采购选型建议。

今日大家都在搜的词: