Inkling 2 Mini 开源之后,开发者很快放出了显卡端的实测结果,在通用推理框架 llama.cpp 里跑这个模型,解码速度只有同规格 Gemma 模型的三成,性能表现偏弱,根源是它独特的循环 Transformer 架构,中间层会重复计算三次,llama.cpp 没有针对性内核优化;而有开发者专门写了适配它架构的自研推理引擎,同样在单张 RTX 3090 显卡上,直接把 Inkling 2 Mini 的生成速度拉到 129.5 tok/s,这个对比也说明这个模型能不能跑快,非常依赖推理引擎的专项适配,选对框架和选错框架,速度差距会非常悬殊。
一、Inkling 2 Mini 基础架构信息
- 模型归属:Thinking Machines Lab 推出,Apache2.0 开源权重
- 架构:循环 Transformer+MoE 混合专家,总参 26.4B,单 token 激活 3.4B,循环计算后有效激活 5.4B
- 核心特点:一共 24 层权重,中间 12 层每生成一个 token 就要重复跑 3 次,等效 48 层计算
- 权重精度:原生 NVFP4,模型文件大小约 20GB,最低需要 24GB 以上显存设备
- 上下文窗口:支持 100 万 token,多模态,支持图文输入,主打本地智能体编程场景
二、两套推理方案实测对比表
| 推理方案 | 硬件 | 实测速度 | 原因说明 |
|---|---|---|---|
| llama.cpp 通用内核 | RTX3090 | 约 Gemma 同尺寸三成速度 | 没有对循环层做特殊优化,重复层计算开销大,调度低效 |
| 开发者自研专用引擎 | RTX3090 | 129.5 tok/s | 针对循环 Transformer 做内核、调度、显存复用专项优化 |
三、速度差距的核心原因拆解
- 循环层带来额外计算量:普通模型每层只算一次,Inkling 2 Mini 中间 12 层循环三遍,通用框架会重复加载、重复调度,额外开销巨大
- llama.cpp 内核偏向传统稠密模型、普通 MoE 模型,没有原生支持这种循环 Transformer
- 自研引擎优化点:循环权重缓存、合并多次前向计算、专家路由调度优化、显存复用,砍掉冗余读写
- 注意:两套测试的量化精度、prompt 长度、采样参数保持一致,对比具备参考性
四、选型和使用提醒
✅ 适合场景:如果你要跑 Inkling 2 Mini 做本地编程 Agent、离线长上下文任务,优先找适配循环 Transformer 的专用推理后端
⚠️ 短板:直接用 Ollama、llama.cpp 这类现成工具跑 Inkling 2 Mini,速度会很低,体验很差
⚠️ 中文能力偏弱,官方定位优先英文编程场景,国内日常中文对话体验一般
⚠️ 自研引擎属于社区开发者版本,稳定性、兼容性不如成熟框架,还在迭代阶段
【相关 FAQ】
问题 1:为什么 Inkling 2 Mini 在 llama.cpp 上解码速度只有 Gemma 的三成?
回答 1:Inkling 2 Mini 是循环 Transformer 架构,中间层会重复运算三次,llama.cpp 没有针对这个特殊结构做内核优化,计算调度开销很高,所以 Inkling 2 Mini 在 llama.cpp 里跑起来远慢于 Gemma。
问题 2:Inkling 2 Mini 在 RTX3090 跑到 129.5 tok/s 靠的是什么?
回答 2:Inkling 2 Mini 在 RTX3090 跑出 129.5 tok/s,依靠社区开发者专门适配循环 Transformer 结构的自研推理引擎,通过权重缓存、计算合并等优化减少循环带来的开销。
问题 3:Inkling 2 Mini 能不能直接用 Ollama 一键部署?
回答 3:Inkling 2 Mini 可以导入 Ollama 调用 llama.cpp 后端运行,但速度会很慢,就是这次实测里 Gemma 三成左右的水平,想要 Inkling 2 Mini 跑高速,要换专用自研引擎。
问题 4:Inkling 2 Mini 这个循环 Transformer 架构有什么好处?
回答 4:Inkling 2 Mini 循环 Transformer 用少量权重等效更深网络,在智能体编程评测 DeepSWE v1.1 上表现不错,代价就是普通推理框架很难发挥它的性能,必须专项优化。
【参考资料】
[2026-11-22](Inkling 2 Mini 的 GPU 实测出炉:llama.cpp 解码只有 Gemma 三成速度,开发者自研引擎把单张 RTX 3090 推到 129.5 tok/s)智源社区
[2026-11-21](Inkling 2 Mini 本地推理性能实测汇总)VQV.me
[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网
[2026-11-21](Inkling 2 Mini 循环 Transformer 架构解读)腾讯云开发者社区
【免责声明】
本文仅为社区第三方开发者对 Inkling 2 Mini 的 GPU 实测资讯整理,129.5 tok/s 为社区自研引擎的单次测试数据,不同 prompt 长度、采样参数、驱动版本都会改变 Inkling 2 Mini 的实测速度;llama.cpp、自研引擎都属于快速迭代版本,性能、稳定性后续可能变动;本文不构成本地大模型硬件、推理框架采购选型建议。
