您的位置首页 >人工智能 >

寒武纪 Day0 适配商汤 SenseNova Loop-9B,MLU 平台打通循环架构推理链路

商汤刚刚正式推出日日新 SenseNova Loop-9B 循环架构大模型,寒武纪同步官宣完成 Day0 适配,依托 vllm_mlu 推理引擎在 MLU 芯片平台上跑通完整推理链路,这款模型只用 9B 存储参数,依靠 Loop 循环复用权重实现 56 次层计算,能力对标 27B 级别模型,4bit 量化之后权重仅 4.9GB,显存门槛很低,适配落地之后,寒武纪 MLU 加速卡可以直接承接这个模型的长上下文、Agent、代码、多模态推理任务,给国产算力 + 国产大模型私有化部署新增一套组合方案,整个适配重点针对 Loop 循环层、mHC 流形约束超连接路由、核心 Attention 算子做了专项优化,不用改动模型原生权重。下面整理模型参数、适配技术细节、部署优势和适用场景。

一、SenseNova Loop-9B 核心参数

项目参数说明
存储参数量9B
物理解码层32 层,中间层循环执行,单轮前向合计 56 次层计算
最大上下文512K token
输入输出图文输入、文本输出
4bit 量化权重约 4.9GB,部署显存最低 10GB 以内
主打场景Agent 智能体、代码生成、数据分析、长文档理解、多模态任务
架构特点Looped Transformer + mHC 流形约束超连接

二、寒武纪适配三大技术方向

  1. Loop 循环层静态展开:把循环计算静态展开成 56 个顺序层,权重只存一份,显存开销和 32 层模型持平,兼容 vLLM 原生 KV 缓存和调度逻辑
  2. MLU 核心算子适配:复用 vllm_mlu 已成熟的 Attention、MLP 算子,覆盖模型全部基础计算模块,同时支持多模态分支推理
  3. mHC 路由逻辑优化:针对循环结构内部双残差流信息混合的路由逻辑做适配,保证循环多次迭代之后信号稳定、推理结果对齐原生实现

三、这套组合的落地优势

  1. 门槛低:Loop-9B 本身显存需求小,寒武纪 MLU 卡可以在中小显存卡上跑对标 27B 模型效果的推理业务
  2. 适配速度快:Day0 同步适配,模型发布当天即可在 MLU 平台启动验证和业务迁移
  3. 推理生态统一:基于 vllm_mlu,开发者沿用 vLLM 熟悉的调用接口,迁移成本低
  4. 国产化闭环:国产算力芯片搭配商汤自研循环架构大模型,适合政务、企业私有本地部署场景

四、适合和不适合的场景清单

✅ 适合:私有化知识库、本地代码助手、企业内部 Agent 流程、大批量长文档摘要、图片 + 文本联合问答

❌ 不适合:超大流量高并发公有云主站、大规模模型训练(本次仅推理适配)

【常见问题】

问题 1:寒武纪完成商汤 SenseNova Loop-9B 的 Day0 适配,Day0 是什么意思?

回答 1:Day0 适配就是商汤 SenseNova Loop-9B 正式发布当天,寒武纪就完成模型在 MLU 平台的推理链路打通,发布即可在寒武纪算力上开展测试部署,不用等待后续版本迭代。

问题 2:寒武纪适配 SenseNova Loop-9B 是训练适配还是推理适配?

回答 2:本次寒武纪针对商汤 SenseNova Loop-9B 的适配属于推理适配,基于 vllm_mlu 推理引擎实现,重点支撑线上推理、本地部署,暂时没有公布配套训练适配方案。

问题 3:商汤 SenseNova Loop-9B 采用 Loop 循环架构,寒武纪做适配的时候是怎么处理循环层?

回答 3:寒武纪采用静态展开方案,把 SenseNova Loop-9B 循环执行的层展开为顺序执行,权重只保存一份不重复占用显存,同时兼容 vLLM 标准 KV 缓存调度机制。

问题 4:在寒武纪 MLU 卡跑商汤 SenseNova Loop-9B,对显存要求高吗?

回答 4:不高,SenseNova Loop-9B 做 4bit 量化之后权重只有约 4.9GB,整体部署显存最低控制在 10GB 以内,对寒武纪 MLU 系列加速卡很友好。

【参考资料】

[2026-11-18](寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路)IT 之家

[2026-11-17](寒武纪完成商汤 SenseNova Loop-9B 适配)界面新闻

[2026-11-17](商汤正式发布 SenseNova Loop-9B 模型,9B 参数对标 27B)IT 之家

[2026-11-17](沐曦、寒武纪等多家国产算力厂商 Day0 适配 SenseNova Loop-9B)东方财富网

[2026-10-30](商汤开源 SenseNova Loop-9B-Preview 循环架构模型)新浪财经

【免责声明】

本文仅整理寒武纪适配商汤 SenseNova Loop-9B 的公开资讯,不构成硬件采购、私有化部署的选型投资建议。适配后的吞吐、延迟等性能指标需要结合具体 MLU 卡型号、量化方案实测验证;模型能力、vllm_mlu 配套功能、支持卡型范围,以寒武纪、商汤官方文档与正式 Release 版本为准。

今日大家都在搜的词: