您的位置首页 >人工智能 >

商汤发布 Loop-9B 模型,4bit 量化显存需求低至 10GB 内

商汤正式推出 SenseNova Loop-9B 模型,这款模型采用循环 Transformer 架构,总参数量大约 9B,依靠 Loop 结构复用参数搭配流形约束超连接 mHC 技术,不用把模型参数堆到 27B 级别,就能在 Agent 智能体、代码、数据分析等任务上对标 27B 级别的模型,4bit AWQ 量化之后权重仅 4.9GB,常规场景下部署显存需求控制在 10GB 以内,普通消费级显卡也能本地跑起来,大幅降低本地私有化部署门槛,它支持图文输入、文本输出,最高上下文窗口达到 512K tokens,适合长文档读取、复杂工具调用、代码开发这类任务,发布当天就同步开放 4bit 量化权重和相关代码,开发者可以直接下载部署测试。它和常规大模型思路不一样,不是单纯增加参数量,而是复用中间层权重、多次循环计算,32 个物理解码层可以完成 56 次层计算,用计算深度换取模型能力;长上下文全开的时候 KV 缓存占用会上涨,256K 上下文模式下显存会提升到约 15GB,这个情况需要提前预留硬件资源。

核心参数清单

  • 模型名称:SenseNova Loop-9B
  • 参数量:约 9B
  • 核心架构:Looped Transformer + mHC 流形约束超连接
  • 最大上下文:512K tokens
  • 输入输出:文本、图像输入,文本输出
  • 量化版本:AWQ 4bit,权重大小 4.9GB
  • 基础部署显存:≤10GB(短上下文场景)
  • 256K 长上下文显存:约 15GB(4bit 权重 + 8bit KV 缓存)
  • 擅长任务:Agent 智能体、代码编写、数据分析、长文档理解、工具调用

部署上手步骤

  1. 确认硬件,短上下文测试准备 10GB 以上显存显卡;跑 256K 及以上长上下文,准备 16GB 显存及以上显卡
  2. 前往商汤开源仓库或者 Hugging Face,下载 SenseNova Loop-9B 的 4bit AWQ 量化权重和推理代码
  3. 环境依赖:配置 vLLM、SGLang 或者 Transformers 推理框架,安装对应 CUDA 版本
  4. 基础测试:先使用 8K 短上下文进行加载、对话、代码生成测试,确认显存占用、推理速度正常
  5. 长上下文使用:开启 256K/512K 上下文时,留意 KV 缓存占用,不要超出显卡显存上限,必要时降低批处理大小

这款 Loop-9B 最大亮点就是低显存门槛,普通游戏显卡也能本地运行对标 27B 能力的模型,很适合个人开发者、小型企业私有化部署;缺点是循环计算会拉高推理延迟,相比同参数非循环模型,生成速度会慢一些,超大上下文场景对显存依然有额外要求。

【常见问题】

问题 1:商汤 Loop-9B 模型显存需求低至 10GB 内,是所有场景都只需要 10GB 显存吗?

回答 1:不是,商汤 Loop-9B 模型 10GB 以内显存是短上下文场景的条件,开启 256K 长上下文时,4bit 版本加上 KV 缓存大约需要 15GB 显存,512K 上下文显存占用会更高。

问题 2:商汤 Loop-9B 模型 9B 参数为什么可以对标 27B 模型?

回答 2:商汤 Loop-9B 模型依靠 Loop 循环结构复用权重,一套中间层参数多次迭代计算,搭配 mHC 流形约束超连接提升特征交互,依靠加深计算深度,在 Agent、代码评测上达到接近 27B 模型的水平,不是真的拥有 27B 参数。

问题 3:商汤 Loop-9B 模型支持哪些输入,是纯文本大模型吗?

回答 3:商汤 Loop-9B 模型不是纯文本模型,支持文本和图像作为输入,输出文本,能够完成图文理解、长文档、代码、智能体工具调用任务。

问题 4:商汤 Loop-9B 模型已经开源了吗,能不能直接本地部署?

回答 4:商汤 Loop-9B 模型正式版同步放出 AWQ4bit 量化权重与推理代码,开发者可以直接下载,满足显存条件的显卡就可以本地部署测试。

【参考资料】

[2026-11-17](商汤发布 SenseNova Loop-9B 模型:部署显存需求低至 10 GB 内)IT 之家

[2026-11-17](SenseNova Loop-9B 正式版:让更少的参数走更深的计算路径)同花顺财经

[2026-11-02](商汤开源 SenseNova Loop-9B-Preview,探索循环 Transformer 架构)艾瑞网

【免责声明】

本文仅整理商汤 Loop-9B 模型公开发布资讯,显存占用、推理速度、评测成绩受推理框架、显卡、上下文长度影响,模型能力以官方技术报告和实测为准,本文不构成项目选型、硬件采购建议。

今日大家都在搜的词: