您的位置首页 >人工智能 >

TML 开源 Inkling 2 Mini循环 Transformer+MoE 架构,26B 参数笔记本本地可跑

核心结论先摆出来:Thinking Machines Lab(简称 TML,由前 OpenAI CTO 米拉・穆拉蒂联合创办)在 2026 年 11 月 20 日发布并开放了新模型 Inkling 2 Mini 的权重。这是一个总参数约 26B(26.4B,部分媒体按 27B 口径报道)的多模态模型,采用循环 Transformer(looped transformer)叠加稀疏 MoE 架构,支持文本和图像输入,最大上下文窗口 100 万 token,权重按 Apache 2.0 许可发布,检查点约 20GB,官方称在 32GB 以上内存的 Apple 芯片笔记本或 32GB 以上显存的 GPU 上就能本地运行。模型主打智能体编程和长时序 Agent 任务,在 100B 参数以内开放权重模型的编程类基准中排在前列,短板是复杂多约束指令跟随、多轮对话和硬核推理。下面把架构原理、硬件门槛、性能表现、获取与部署方式逐项拆开讲清楚。

一、模型基本信息

项目内容
出品方Thinking Machines Lab(TML)
模型名称Inkling 2 Mini
发布时间2026 年 11 月 20 日
模型类型多模态自回归模型,文本 + 图像输入、文本输出
总参数约 26B / 26.4B(媒体另有 27B 口径)
激活参数约 3.4B /token
有效激活参数计入循环重复计算后约 5.4B /token
架构24 层 decoder-only 稀疏 MoE + 循环 Transformer
上下文窗口最高 100 万 token
权重许可Apache 2.0(附带可接受使用政策)
检查点体积约 20GB(低精度存储,权重主要 NVFP4,最后 4 层 MXFP8)
权重地址Hugging Face:thinkingmachines/Inkling-2-Mini

二、循环 Transformer 架构是怎么回事

1. 普通 Transformer 的做法

普通 Transformer 生成每个 token 时,信息依次经过一组固定的网络层,每层只算一遍,要增加内部推导深度,通常只能靠堆更多层、更大权重,模型体积随之上升。

2. Inkling 2 Mini 的循环设计

  • 全模型共 24 层,最前 6 层和最后 6 层各运行一次,中间 12 层连续运行三次,后续轮次还会读取上一轮传过来的信息;
  • 也就是说,模型只需存储 24 层权重,就能为每个 token 完成 48 次层计算;
  • 循环让同一组权重在内部多算几轮,增加了连续推导的处理空间,同时把权重体积控制住;
  • 每层把每个 token 路由到 128 个专家中的 8 个,配合 MoE 做到单 token 只激活部分专家。

3. 这样设计的收益与代价

  • 收益:内部多轮思考不用额外输出文本,能用更少 token 找到正确答案,在依赖推理质量的智能体编码类任务上表现突出;官方评测中,中间层循环带来的计算等效增益为 1.51–1.91 倍,高于后层循环的 1.24–1.36 倍,28 项评估里有 27 项选择循环中间 12 层。
  • 代价:循环执行路径在本地运行框架里还比较新,不同运行时和硬件上的速度表现不均,需要等循环执行链路进一步优化。

4. 训练背景

模型用 1 万亿 token 蒸馏自 TML 内部更大的 Inkling 模型;专家数量在训练过程中从 384 个剪枝到 128 个;官方还同步放出一个可调整循环次数的研究版本(variable-loop)。

三、本地运行需要什么硬件

硬件档位配置要求说明
Apple 芯片设备至少 32GB 内存(MacBook / Mac mini / Mac Studio)演示机型为 M5 Pro、48GB 内存的 MacBook Pro,飞机离线模式下本地推理
NVIDIA GPU建议至少 32GB 显存适配本地 GPU 推理流程
专用设备NVIDIA DGX Spark官方列出的运行档位之一
内存占用检查点约 20GB得益于低精度量化和 MoE 稀疏激活,稠密 26B 全精度模型所需内存会高得多

注意:官方 "笔记本就能跑" 有前提 —— 需要 32GB 以上内存或显存,不是任意轻薄本都能流畅加载;实际速度受运行时、量化方式和任务长度影响,建议先在自己机器上实测再长期使用。

四、性能与基准表现

1. 强项(官方 / 第三方基准)

基准成绩定位
DeepSWE v1.148.2%100B 以内开放权重模型智能体编程赛道领先
Vals Index v2.246.5%编程 / Agent 类任务同级别靠前
Artificial Analysis 智能指数20 分与 Qwen3.8-27B(xhigh)、Nanbeige4.3-33B 同级
  • 在长期智能体编程、多行业自主 Agent 任务上拿到同级别 SOTA 水平,对比对象包括 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 等;
  • 同 AAI 得分下,输出 token 比 Qwen3.8-27B 多约 38%,计算量约为其三分之一;第一方 API 定价约为其六分之一成本,速度约快 4 倍;
  • 第一方 API 定价:输入 0.15 美元 / 百万 token、输出 0.50 美元 / 百万 token、缓存命中 0.015 美元 / 百万 token。

2. 短板与弱项

  • MultiChallenge 50.0%、ComplexConstraints v1.1 33.4%,复杂多约束指令跟随、多轮对话弱于 Qwen3.8-27B;
  • 高难度硬核推理任务上不及更大规模模型;
  • 本地运行时对循环架构的支持尚新,跨框架性能不一致。

3. 官方演示场景

  • 离线写游戏:研究人员带一台 MacBook Pro 登机,断开网络,让 Inkling 2 Mini 在几分钟内本地写出一个可玩的飞行模拟器;
  • 像素小镇 Thinkyville:同一模型在一台离线 MacBook 上驱动全部 20 位村民,村民会规划一天生活、闲聊八卦、举办烘焙比赛,还能回复留在门上的便条。

五、获取、推理与微调方式

1. 下载权重

  • 模型卡与权重发布在 Hugging Face(thinkingmachines/Inkling-2-Mini);
  • 官方博客:thinkingmachines.ai/news/inkling-2-mini;
  • 可通过 Tinker 平台进行推理和微调,也可走第三方推理服务商。

2. 本地推理支持

已适配的运行时包括:Ollama、vLLM、SGLang、Unsloth、MLX、llama.cpp(GGUF 构建)、NVIDIA Dynamo、TokenSpeed、Llama App 等;Apple 芯片上 MLX 可直接加载原始 NVFP4/MXFP8 检查点,无需转换。

3. 微调渠道

支持通过 Tinker(TML 自有平台)、SkyRL、Miles、NVIDIA AutoModel 等进行自定义微调。

六、上手步骤建议

  1. 核对硬件:先确认本机内存 / 显存是否达到 32GB 门槛,Apple 芯片优先走 MLX,NVIDIA 显卡选 vLLM/SGLang,想要本地打包体验可用 Ollama 或 GGUF。
  2. 下载对应检查点:按自己的运行时选官方原精度版本或社区 GGUF / 量化版本,留意检查点约 20GB 的磁盘占用。
  3. 跑通最小任务:先用短文本对话和简单编码任务验证加载与推理速度,再跑长上下文或 Agent 链路。
  4. 按需微调:有领域数据或工具调用需求时,通过 Tinker 等支持渠道做微调;研究用途可尝试可变循环版本调整循环次数。
  5. 对照基准判断:编程和 Agent 任务可参考 DeepSWE、Vals Index 表现;如果主要做多轮对话或复杂指令跟随,建议先对比 Qwen3.8-27B 等同级别模型再选型。

【相关 FAQ】

问题 1:TML 开源的 Inkling 2 Mini 是什么模型?循环 Transformer 架构具体指什么?

回答 1:Inkling 2 Mini 是 Thinking Machines Lab(TML)2026 年 11 月 20 日开放权重的多模态模型,总参数约 26B,激活约 3.4B,计入循环后有效激活约 5.4B。循环 Transformer 指它把 24 层里的中间 12 层每个 token 连续运行三次,前 6 层和后 6 层各跑一次,用 24 层权重完成 48 次层计算,让模型在内部多轮推导而不额外输出文本,配合稀疏 MoE 控制权重体积。

问题 2:Inkling 2 Mini 真的能在笔记本上跑吗?需要什么配置?

回答 2:官方称可以本地跑,但有门槛:Apple 芯片设备至少 32GB 内存,其他 GPU 平台建议至少 32GB 显存,也支持 NVIDIA DGX Spark;模型检查点约 20GB,演示用的是 M5 Pro、48GB 内存的 MacBook Pro 离线运行。普通内存偏小的轻薄本无法流畅加载,"笔记本就能跑" 不等于任意笔记本都能跑,需按 32GB 以上内存 / 显存核对。

问题 3:Inkling 2 Mini 开源了哪些内容?用什么许可,能商用吗?

回答 3:模型权重发布在 Hugging Face,许可为 Apache 2.0(附带可接受使用政策),支持文本和图像输入、最高 100 万 token 上下文;官方同步放出可调整循环次数的研究版本。开发者可下载本地部署,也能通过 Tinker 推理和微调;商用前需核对 Apache 2.0 条款及附带使用政策的具体限制。

问题 4:Inkling 2 Mini 编程和 Agent 能力怎么样?对比同级别模型处于什么水平?

回答 4:在 DeepSWE v1.1 得 48.2%、Vals Index v2.2 得 46.5%,在 100B 以内开放权重模型的智能体编程赛道领先;Artificial Analysis 智能指数 20 分,与 Qwen3.8-27B(xhigh)、Nanbeige4.3-33B 同级,激活参数少约 5 到 6 倍。短板是复杂多约束指令跟随、多轮对话弱于 Qwen3.8-27B,硬核推理不及更大模型,选型时要按任务类型权衡。

问题 5:本地部署 Inkling 2 Mini 有哪些推理框架支持?怎么下载和微调?

回答 5:本地推理已支持 Ollama、vLLM、SGLang、Unsloth、MLX、llama.cpp(GGUF)、NVIDIA Dynamo 等;权重从 Hugging Face 模型卡 thinkingmachines/Inkling-2-Mini 下载,Apple 芯片可用 MLX 直接加载原精度检查点。微调可通过 Tinker、SkyRL、Miles、NVIDIA AutoModel 进行;注意循环模型在本地运行时的支持还较新,不同框架速度表现不一,建议先实测再投入使用。

【参考资料】

  • [2026-11-22](Inkling 2 Mini: A Looped Transformer That Runs a 26B Coding Agent on Your Laptop)DEV Community
  • [2026-11-21](TML 开源新模型,循环 Transformer 架构,笔记本就能跑)腾讯网(机器之心)
  • [2026-11-21](27B! 穆拉蒂开源 "循环脑" 模型:笔记本跑 Agent 起飞!)腾讯网(智东西)
  • [2026-11-21](TML's New Open-Source Model Uses a Recurrent Transformer Architecture and Can Run on a Laptop)C114Pro
  • [2026-11-21](Thinking Machines releases Inkling 2 Mini, an open looped transformer that runs on a laptop)DEV Community
  • [2026-11-20](TML Inkling 2 Mini: Open-Weights AI Model For Your Laptop)GPTOnline.ai
  • [2026-11-20](TML-d24-varloop-research Model Card)Thinking Machines Lab 官方模型卡

【免责声明】

本文依据 TML 官方模型卡、Hugging Face 发布信息及公开媒体报道整理,模型参数(26B / 26.4B / 27B)、基准成绩、硬件门槛、运行时支持和定价可能随官方版本更新或不同信源口径存在差异;基准测试成绩为官方或第三方实验室环境结果,不代表在个人设备和实际业务场景中的表现。开源模型的商用与二次分发需自行核对 Apache 2.0 许可及附带使用政策,本文不构成选型、部署或投资建议,具体以官方模型卡和权重仓库最新说明为准。

今日大家都在搜的词: