商汤 SenseNova Loop-9B 正式发布当天,寒武纪就完成 Day0 适配,依托 vllm_mlu 框架打通这套新型循环计算架构在 MLU 芯片上的完整推理链路,这次适配的难点就是 Loop 循环 Transformer 结构和 mHC 流形约束超连接,和传统固定层数大模型不一样,它靠复用参数层拉高计算深度,寒武纪用静态展开方案解决循环调度问题,同时复用成熟 MLU 算子,保证多模态、Agent、代码推理任务都能跑起来。Loop-9B 只有 9B 参数,32 个物理解码层循环计算,等效 56 次层运算,4bit 量化之后权重只有 4.9GB,显存门槛控制在 10GB 以内,小参数也能做到接近 27B 模型的能力,很适合私有化部署。寒武纪这次 Day0 适配,代表国产芯片可以跟上新一代循环式大模型架构的迭代节奏,不用等很久才能落地,也丰富了 MLU 平台上的前沿模型生态。
适配三大核心工作
- Loop 循环层静态展开:把循环计算转为顺序执行层,兼容 vLLM 调度、KV 缓存机制,循环层共用一份权重,不额外增加显存占用
- MLU 核心算子适配:复用平台成熟的 Attention、MLP 算子,覆盖文本 + 图像多模态输入链路
- mHC 流形约束超连接路由优化:对模型独有的多路残差信息混合模块做适配,保证循环传递时特征稳定
SenseNova Loop-9B 基础参数
| 项目 | 参数详情 |
|---|---|
| 总参数量 | 约 9B |
| 物理解码层 / 等效计算次数 | 32 层物理层,循环后 56 次层计算 |
| 最大上下文 | 512K tokens |
| 输入输出 | 图文输入,文本输出 |
| 4bit 量化权重 | 4.9GB |
| 最低显存需求 | 10GB 以内 |
| 优势场景 | Agent 智能体、代码生成、数据分析、长文本推理 |
传统大模型 vs 循环计算架构对比
| 对比项 | 传统固定层数 Transformer | SenseNova Loop-9B 循环架构 |
|---|---|---|
| 参数与计算深度绑定 | 参数越多,层数越多,显存同步上涨 | 参数不变,靠循环复用提升有效计算深度 |
| 权重存储 | 每层独立权重,显存开销大 | 共享循环模块权重,显存占用更低 |
| 推理调度 | 线性执行,调度简单 | 存在循环迭代,需要框架特殊适配 |
| 硬件适配难度 | 成熟,算子生态完善 | 架构新颖,需要芯片厂商单独适配 |
适配落地流程
- 拿到 Loop-9B 模型权重与架构文档,梳理 Loop 循环、mHC 模块的计算流
- 在 vllm_mlu 中实现循环层静态展开改造,对齐 KV 缓存逻辑
- 替换、调优 MLU 算子,完成多模态分支的链路连通
- 跑通 Agent、代码、长上下文评测,验证精度和吞吐
- 对外公布 Day0 适配结果,开发者可直接在寒武纪 MLU 硬件部署
【常见问题】
问题 1:寒武纪 Day0 适配商汤 SenseNova Loop-9B,Day0 是什么意思?
回答 1:寒武纪 Day0 适配商汤 SenseNova Loop-9B,Day0 就是商汤模型正式发布的同一天完成适配,第一时间打通循环计算架构推理链路,不用滞后等待。
问题 2:寒武纪适配的商汤 SenseNova Loop-9B 循环计算架构,原理是什么?
回答 2:寒武纪适配的商汤 SenseNova Loop-9B 循环计算架构,核心是复用中间解码器模块多次运算,搭配 mHC 流形约束超连接,用 9B 参数实现接近 27B 大模型的推理能力。
问题 3:寒武纪 Day0 适配 SenseNova Loop-9B,跑模型最低需要多少显存?
回答 3:寒武纪 Day0 适配 SenseNova Loop-9B,4bit 量化版本权重约 4.9GB,整套循环计算架构推理最低显存需求控制在 10GB 以内,部署门槛更低。
问题 4:寒武纪用什么框架完成 SenseNova Loop-9B 循环计算架构适配?
回答 4:寒武纪依托 vllm_mlu 框架完成 SenseNova Loop-9B 循环计算架构适配,重点解决 Loop 循环调度和 mHC 模块路由适配。
问题 5:寒武纪打通 SenseNova Loop-9B 推理链路之后,适合跑哪些任务?
回答 5:寒武纪打通 SenseNova Loop-9B 推理链路之后,这套循环计算架构适合 Agent 智能体、代码生成、数据分析、长文本理解、图文多模态推理任务。
【参考资料】
[2026-11-18](寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路)IT 之家
[2026-11-18](寒武纪完成商汤 SenseNova Loop-9B 适配)界面新闻
[2026-11-18](商汤 SenseNova Loop-9B 正式发布,9B 参数支持 512K 上下文)新浪科技
[2026-11-17](商汤日日新 SenseNova Loop-9B 发布,采用 Looped Transformer 循环架构)东方财富网
[2026-11-02](商汤开源 SenseNova Loop-9B-Preview,探索循环 Transformer 架构)商汤科技官方
【免责声明】
本文内容基于公开新闻与官方发布信息整理,寒武纪 Day0 适配 SenseNova Loop-9B 的吞吐、延迟、精度实测数据以双方后续放出的技术白皮书为准;循环计算架构属于前沿模型探索方向,性能表现受硬件、量化策略、prompt 影响;内容仅作 AI 行业资讯科普,不构成芯片采购、模型落地投资建议。
