您的位置首页 >机器人 >

TML开源新模型,循环Transformer架构,笔记本就能跑

TML(Thinking Machines Lab)最新开源的 Inkling 2 Mini,是一款 26B 参数多模态大模型,靠着循环 Transformer 架构做到了兼顾推理能力和硬件门槛,消费级笔记本就可以本地跑起来。传统大模型想要强推理,一般都要堆更多网络层、参数暴涨,对显卡和内存要求极高,普通电脑根本扛不住;而这个循环 Transformer 的思路,是复用中间层做循环计算,每个 token 会把中间层循环跑三次,不用无脑堆层数就能提升思考、代码生成和智能体任务的表现,把模型整体的硬件占用压到笔记本可承载区间。官方演示用一台 48GB 内存的 M5 Pro MacBook Pro,断网离线跑模型,几分钟就能生成可玩的飞行模拟器,还能同时驱动多个 AI 智能体做任务;模型支持图文输入,上下文窗口拉到 100 万 token,权重采用 Apache 2.0 协议开放,开发者可以直接下载权重,用配套 Tinker 工具完成本地推理、二次微调。整体来看,这个模型最大的价值就是把强能力智能体模型下放给普通 PC 用户,不用依赖云端 API,离线也能做长文本、代码、多智能体相关任务,当然它也有短板,低配轻薄本、小内存机型跑起来会卡顿,复杂多约束指令、超高难度数学推理的表现不如同参数量顶尖模型。

一、Inkling 2 Mini 核心参数清单

项目详情
模型名称Inkling 2 Mini
开发团队TML(Thinking Machines Lab)
架构循环 Transformer(Looped Transformer)
参数量26B
模态文本 + 图像多模态
最大上下文100 万 token
开源协议Apache 2.0
部署工具Tinker
推荐本地硬件48GB 内存 MacBook Pro 或同等内存 PC

二、循环 Transformer 架构简单理解

  1. 基础结构:24 层仅解码器 Transformer,搭配稀疏 MoE 前馈模块
  2. 循环逻辑:不是新增大量网络层,每生成一个 token,重复运算中间三层,在不显著增加参数量的前提下提升推理深度
  3. 优势:参数效率更高,长上下文、智能体规划、代码任务收益明显
  4. 局限:循环计算会增加单 token 推理耗时,速度会比普通同规模 Transformer 慢一点

三、笔记本本地部署大致步骤

  1. 硬件准备:优先 48GB 及以上内存笔记本,显存越大推理速度越好,小内存设备容易 OOM
  2. 获取权重:前往 Hugging Face 模型仓库下载 Inkling 2 Mini 权重文件
  3. 环境准备:装好 TML 提供的 Tinker 推理工具以及对应依赖库
  4. 加载推理:本地加载权重,开启离线模式,直接输入文本或者图片提示词
  5. 微调可选:支持在本地基于自有数据集做微调,适合做专属智能体

四、模型优势和短板

✅ 优势

  • 开源权重宽松,商用、二次开发门槛低
  • 超大 100 万上下文,适合长文档、大型代码项目处理
  • 离线本地运行,数据不用上传云端,隐私性更好
  • 智能体能力突出,可以做连续规划、小游戏开发这类任务

❌ 短板

  • 对内存要求高,普通 16GB 轻薄本很难流畅跑
  • 循环机制带来推理延迟,生成速度偏慢
  • 硬核数学推理、复杂约束指令跟随弱于同级别头部模型

【相关 FAQ】

问题 1:TML Inkling 2 Mini 的循环 Transformer 架构到底和普通 Transformer 差别在哪?

回答 1:TML Inkling 2 Mini 用的循环 Transformer,核心是复用中间网络层循环计算,每个 token 重复跑中间层三次,不靠堆参数提升推理能力;普通 Transformer 一层只算一次,想要变强只能增加层数和参数量,硬件开销会大很多。

问题 2:什么样的笔记本可以跑 TML 这款循环 Transformer 开源模型 Inkling 2 Mini?

回答 2:官方演示用 48GB 内存的 M5 Pro MacBook Pro 流畅运行 TML Inkling 2 Mini 这款循环 Transformer 模型;16GB、32GB 内存笔记本也能尝试加载,但大概率卡顿、容易内存溢出,不适合长时间使用。

问题 3:TML 开源的 Inkling 2 Mini 循环 Transformer 模型能不能商用?

回答 3:可以商用,TML 给 Inkling 2 Mini 循环 Transformer 模型采用 Apache 2.0 开源协议,允许自由使用、修改、分发,商用场景不需要额外授权,遵守协议要求即可。

问题 4:TML Inkling 2 Mini 循环 Transformer 模型支持图片输入吗?

回答 4:支持,TML Inkling 2 Mini 属于多模态循环 Transformer 开源模型,文本、图像都可以作为输入,同时支持最高 100 万 token 长上下文。

【参考资料】

[2026-11-21](TML 开源新模型,循环 Transformer 架构,笔记本就能跑)机器之心(腾讯网)

[2026-11-21](TML 开源新模型,循环 Transformer 架构,笔记本就能跑)机器之心 Pro(新浪财经)

[2026-11-20](Introducing Inkling 2 Mini)Thinking Machines Lab 官网

[2026-11-20](TML Inkling 2 Mini: Open-Weights AI Model For Your Laptop)GPTOnline.ai

【免责声明】

本文信息仅为资讯整理,不构成部署、投资、商用落地建议;Inkling 2 Mini 模型性能、兼容性受硬件环境、量化版本、推理框架影响,实际运行效果以本地实测为准;模型评测结果为官方披露数据,独立第三方完整评测尚未全部完成,相关能力不做绝对承诺。

今日大家都在搜的词: