Thinking Machines Lab 正式开源 Inkling 2 Mini 大模型,这是一款循环架构的 MoE 混合专家模型,总参数规模 264 亿,内存占用大约 20GB,不需要高端独立显卡,满足内存条件的笔记本就可以离线跑起来,官方已经在飞行模式下的 MacBook Pro 上完成演示,只用几分钟就生成可游玩的飞行模拟器,还能同时运行 20 个独立智能体搭建模拟像素小镇,模型权重全部上传到 Hugging Face 开放下载,配套提供 GGUF 量化版本,兼容 Ollama、llama.cpp、vLLM、SGLang 等主流本地推理框架,兼顾代码智能体、多步骤推理、复杂规划这类任务。Inkling 2 Mini 采用循环 Transformer 设计,中间层会重复迭代计算来提升推理思考能力,和同参数量普通模型相比,推理上限更高,专门面向本地设备智能体场景打造,区别于同系列更大的 Inkling 2 Small,后者对硬件要求很高,普通笔记本很难承载。
Inkling 2 Mini 核心参数一览
| 项目 | 参数详情 |
|---|---|
| 总参数 | 26.4B(264 亿) |
| 架构 | 循环 Transformer + MoE 混合专家 |
| 基础内存占用 | 约 20GB |
| 上下文窗口 | 支持长上下文输入 |
| 开源载体 | Hugging Face 权重包、GGUF 量化包 |
| 主打场景 | 本地智能体、代码生成、长任务规划、离线推理 |
硬件门槛清单
- 推荐机型:Apple Silicon Mac 笔记本,最低统一内存 32GB;官方演示设备为 MacBook Pro
- Windows / Linux 笔记本:32GB 及以上内存,搭配支持 CUDA 的独显效果更好,无独显也可以用 CPU 慢速推理
- 运行环境:Ollama、llama.cpp、Unsloth、vLLM、SGLang 均可加载
- 网络要求:加载完模型文件之后,全程离线运行,不需要联网
本地部署操作步骤
- 前往 Hugging Face 模型主页,下载原版权重或者 Unsloth 提供的 GGUF 量化版本,按需选择量化等级平衡速度与效果。
- 安装推理工具,新手优先选择 Ollama,直接拉取对应模型标签;技术用户可以选用 llama.cpp、vLLM 部署服务。
- 在工具内加载 Inkling 2 Mini,等待模型加载进内存,加载时间取决于硬盘读写速度。
- 开启离线模式,输入指令测试,支持写代码、搭建模拟程序、多步骤任务规划、智能体仿真。
- 想要微调模型,可搭配 Unsloth 或者官方 Tinker 平台做轻量微调。
Inkling 2 Mini 和 Inkling 2 Small 对比
| 型号 | 硬件适配 | 特点 | 笔记本可跑 |
|---|---|---|---|
| Inkling 2 Mini | 32GB 内存笔记本 | 循环推理,主打本地智能体、代码任务 | 可以 |
| Inkling 2 Small | 多卡高端 GPU 集群、大内存工作站 | 594B 总参数,多模态,能力更强 | 普通笔记本无法流畅运行 |
这款模型的核心亮点就是把偏向智能体规划、代码开发的强推理能力下放至消费级笔记本,不用依赖云端 API,敏感任务可以在本机离线完成,适合开发者做本地 Agent 原型、离线代码助手、仿真实验。量化版本还能进一步降低内存占用,在刚好 32GB 内存的设备上提升稳定性。
【相关 FAQ】
问题 1:开源的 Inkling 2 Mini 笔记本运行,最低需要多大内存?
回答 1:Inkling 2 Mini 原版内存占用约 20GB,想要稳定在笔记本运行,推荐 32GB 及以上内存,使用 GGUF 低比特量化包可以降低内存压力。
问题 2:Inkling 2 Mini 和 Inkling 2 Small 是同一系列吗,都能在笔记本上跑吗?
回答 2:二者都属于 Thinking Machines Inkling 系列,只有 Inkling 2 Mini 适配笔记本离线运行;Inkling 2 Small 硬件门槛极高,普通笔记本无法流畅加载。
问题 3:跑 Inkling 2 Mini 笔记本本地推理,必须要联网吗?
回答 3:不需要,把 Inkling 2 Mini 模型文件下载到笔记本本地之后,就可以断网离线运行,官方演示也是在飞行离线状态下完成。
问题 4:新手在笔记本部署 Inkling 2 Mini,选哪个推理框架最简单?
回答 4:新手跑 Inkling 2 Mini 优先 Ollama,部署命令简短、GGUF 包生态完善,上手难度最低;有部署经验再选用 vLLM、llama.cpp。
【参考资料】
[2026-11-20](Thinking Machines Lab Releases Inkling 2 Mini for Local Devices)Unite.AI
[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网
[2026-11-20](Inkling 2 Mini on vLLM: Day-0 Support for a Looped Model)vLLM 博客
[2026-11-20](Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup)Hugging Face 博客
免责声明:本文仅整理 Inkling 2 Mini 开源发布的公开信息;模型运行速度、推理效果会受笔记本内存、硬盘、CPU/GPU 配置和量化版本影响;模型许可证、商用权限、后续版本更新以 Thinking Machines Lab 在 Hugging Face 和官网发布的协议为准。
