Thinking Machines Lab 推出的 Inkling 2 Small 已经开放 Apache2.0 权重，这款总参 594B 的稀疏 MoE 多模态大模型，推理时只会激活 17B 参数，NVFP4 量化版本只需要两张 B300 显卡就能跑起来，大幅降低超大参数 MoE 模型的本地部署门槛。它采用 48 层结构、一共 384 个专家，每一次 token 推理只路由调用其中 8 个专家，搭配独立的 292M 视觉编码器，支持图文输入、文本输出，上下文窗口拉满到 100 万 token，官方定位主打代码编写、AI 智能体任务、长文档推理和多模态理解。它内置原生 DSpeculator 推测解码模块，配合 vLLM、Unsloth、llama.cpp 都可以做加速，在 SWEBench、DeepSWE 代码基准测试里分数明显高于上一代 Inkling Small，AI Index 得分来到 31 分，相比初代版本提升幅度很大。部署的时候优先用 NVFP4 混合精度方案，0-39 层用 NVFP4、后面层数用 MXFP8，两张 B300 做张量并行就可以承载基础推理；如果想要更低显存占用，还能选择 Unsloth 的动态 1bit GGUF 量化包，显存占用进一步压缩，性能损失控制在 10% 以内。开发者可以直接在 Hugging Face 拉取权重，也能在 Tinker 平台在线调用、微调，微调后的检查点后续同样支持下载本地运行。
Inkling 2 Small 核心参数表
| 项目 | 详情 |
|---|---|
| 模型架构 | 稀疏 MoE 混合专家模型，48 层，384 专家，每 token 激活 8 专家 |
| 总参数 / 激活参数 | 594B / 17B |
| 视觉编码器 | 292M 参数 ViT |
| 上下文窗口 | 100 万 Token |
| 支持输入 | 文本、图片，输出文本 |
| 授权协议 | Apache 2.0 |
| 最低部署硬件 | 2 张 B300（NVFP4 量化） |
| 推理加速方案 | vLLM、Unsloth GGUF、llama.cpp、原生 DSpeculator 推测解码 |
Inkling 2 Small 部署与使用清单
- 硬件准备：2 张 NVIDIA B300 显卡，Linux 系统，推荐搭配 CUDA 最新驱动
- 权重选择：优先 NVFP4 量化权重，平衡显存占用和推理性能；显存紧张选动态 1bit GGUF 版本
- 推理引擎：vLLM 开箱支持，支持张量并行、LoRA 微调；Unsloth 适合快速本地测试
- 任务适配：适合长代码、复杂智能体流程、长 PDF 文档问答、图文结合分析
- 性能调优：开启 DSpeculator 推测解码，单用户吞吐最高可达 630TPS
【常见问题】
问题 1：Inkling 2 Small 总参 594B，为什么只需要两张 B300 就能跑？
回答 1：Inkling 2 Small 是 MoE 混合专家架构，推理阶段每一个 token 只会激活 17B 参数，不是全部 594B 参数同步参与计算，配合 NVFP4 量化压缩权重，两张 B300 显存就可以承载推理任务。
问题 2：Inkling 2 Small 支持哪些输入，Inkling 2 Small 和老版 Inkling Small 差别在哪？
回答 2：Inkling 2 Small 支持文本 + 图片多模态输入，主打代码、智能体任务；对比老版 Inkling Small，总参、激活参数、推理得分全面提升，原生自带 DSpeculator 推测解码，推理速度更快，上下文同样是 100 万 token。
问题 3：Inkling 2 Small 开源之后，个人开发者可以商用微调吗？
回答 3：Inkling 2 Small 使用 Apache2.0 协议开放权重，个人和企业开发者都可以免费下载、微调、商用，没有营收上限限制，微调后的模型权重也能自主分发。
问题 4：只用一张 B300 能不能跑 Inkling 2 Small？
回答 4：标准 NVFP4 版本需要两张 B300 张量并行；单张 B300 只能选择高压缩量化版本，并且会限制并发、缩短可用上下文，稳定性和吞吐都会明显下降，不推荐正式业务使用。
【参考资料】
[2026-11-14]（Inkling 2 Small - Run Locally）Unsloth AI
[2026-11-12]（Inkling 2 Small on vLLM: Day-0 Support）vLLM 官方博客
[2026-11-05]（Introducing Inkling 2 Small）Thinking Machines Lab 官网
[2026-11-07]（Inkling 2 Small: 模型来了，权重还没来）华为云社区
[2026-11-06]（前 OpenAI CTO 推新模型，让用户自己训 AI）智东西
【免责声明】
本文仅为 AI 行业资讯整理，Inkling 2 Small 实际显存占用、推理速度、兼容特性会受量化方案、驱动版本、并发数量影响；Apache2.0 许可范围、权重更新、bug 修复以 Thinking Machines Lab 官方仓库和公告为准，不同推理引擎对 Inkling 2 Small 的适配效果存在差异。