您的位置首页 >科技要闻 >

Thinking Machines开源Inkling 2 Mini可跑进笔记本

Thinking Machines Lab 正式开源 Inkling 2 Mini 大模型,这是一款循环架构的 MoE 混合专家模型,总参数规模 264 亿,内存占用大约 20GB,不需要高端独立显卡,满足内存条件的笔记本就可以离线跑起来,官方已经在飞行模式下的 MacBook Pro 上完成演示,只用几分钟就生成可游玩的飞行模拟器,还能同时运行 20 个独立智能体搭建模拟像素小镇,模型权重全部上传到 Hugging Face 开放下载,配套提供 GGUF 量化版本,兼容 Ollama、llama.cpp、vLLM、SGLang 等主流本地推理框架,兼顾代码智能体、多步骤推理、复杂规划这类任务。Inkling 2 Mini 采用循环 Transformer 设计,中间层会重复迭代计算来提升推理思考能力,和同参数量普通模型相比,推理上限更高,专门面向本地设备智能体场景打造,区别于同系列更大的 Inkling 2 Small,后者对硬件要求很高,普通笔记本很难承载。

Inkling 2 Mini 核心参数一览

项目参数详情
总参数26.4B(264 亿)
架构循环 Transformer + MoE 混合专家
基础内存占用约 20GB
上下文窗口支持长上下文输入
开源载体Hugging Face 权重包、GGUF 量化包
主打场景本地智能体、代码生成、长任务规划、离线推理

硬件门槛清单

  1. 推荐机型:Apple Silicon Mac 笔记本,最低统一内存 32GB;官方演示设备为 MacBook Pro
  2. Windows / Linux 笔记本:32GB 及以上内存,搭配支持 CUDA 的独显效果更好,无独显也可以用 CPU 慢速推理
  3. 运行环境:Ollama、llama.cpp、Unsloth、vLLM、SGLang 均可加载
  4. 网络要求:加载完模型文件之后,全程离线运行,不需要联网

本地部署操作步骤

  1. 前往 Hugging Face 模型主页,下载原版权重或者 Unsloth 提供的 GGUF 量化版本,按需选择量化等级平衡速度与效果。
  2. 安装推理工具,新手优先选择 Ollama,直接拉取对应模型标签;技术用户可以选用 llama.cpp、vLLM 部署服务。
  3. 在工具内加载 Inkling 2 Mini,等待模型加载进内存,加载时间取决于硬盘读写速度。
  4. 开启离线模式,输入指令测试,支持写代码、搭建模拟程序、多步骤任务规划、智能体仿真。
  5. 想要微调模型,可搭配 Unsloth 或者官方 Tinker 平台做轻量微调。

Inkling 2 Mini 和 Inkling 2 Small 对比

型号硬件适配特点笔记本可跑
Inkling 2 Mini32GB 内存笔记本循环推理,主打本地智能体、代码任务可以
Inkling 2 Small多卡高端 GPU 集群、大内存工作站594B 总参数,多模态,能力更强普通笔记本无法流畅运行

这款模型的核心亮点就是把偏向智能体规划、代码开发的强推理能力下放至消费级笔记本,不用依赖云端 API,敏感任务可以在本机离线完成,适合开发者做本地 Agent 原型、离线代码助手、仿真实验。量化版本还能进一步降低内存占用,在刚好 32GB 内存的设备上提升稳定性。

【相关 FAQ】

问题 1:开源的 Inkling 2 Mini 笔记本运行,最低需要多大内存?

回答 1:Inkling 2 Mini 原版内存占用约 20GB,想要稳定在笔记本运行,推荐 32GB 及以上内存,使用 GGUF 低比特量化包可以降低内存压力。

问题 2:Inkling 2 Mini 和 Inkling 2 Small 是同一系列吗,都能在笔记本上跑吗?

回答 2:二者都属于 Thinking Machines Inkling 系列,只有 Inkling 2 Mini 适配笔记本离线运行;Inkling 2 Small 硬件门槛极高,普通笔记本无法流畅加载。

问题 3:跑 Inkling 2 Mini 笔记本本地推理,必须要联网吗?

回答 3:不需要,把 Inkling 2 Mini 模型文件下载到笔记本本地之后,就可以断网离线运行,官方演示也是在飞行离线状态下完成。

问题 4:新手在笔记本部署 Inkling 2 Mini,选哪个推理框架最简单?

回答 4:新手跑 Inkling 2 Mini 优先 Ollama,部署命令简短、GGUF 包生态完善,上手难度最低;有部署经验再选用 vLLM、llama.cpp。

【参考资料】

[2026-11-20](Thinking Machines Lab Releases Inkling 2 Mini for Local Devices)Unite.AI

[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网

[2026-11-20](Inkling 2 Mini on vLLM: Day-0 Support for a Looped Model)vLLM 博客

[2026-11-20](Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup)Hugging Face 博客

免责声明:本文仅整理 Inkling 2 Mini 开源发布的公开信息;模型运行速度、推理效果会受笔记本内存、硬盘、CPU/GPU 配置和量化版本影响;模型许可证、商用权限、后续版本更新以 Thinking Machines Lab 在 Hugging Face 和官网发布的协议为准。

今日大家都在搜的词: