您的位置首页 >科技要闻 >

OVH 开源新模型 Olala mini 7A1B总参 70 亿激活 10 亿,8G 显存就能本地跑

欧洲云厂商 OVHcloud 正式推出自家首个大模型系列 Olala,并且开源首发成员 Olala mini 7A1B,这是一款混合注意力架构的稀疏激活小模型,总参数 70 亿、每次推理只激活 10 亿参数,门槛很低,8GB 显存显卡就能跑,CPU 也能直接推理,模型使用 Apache2.0 协议放在 Hugging Face 开放下载,训练是在欧洲本地超算集群完成,整体训练成本 700 万欧元,主打轻量化、低成本本地部署,适合做 Agent、私有知识库、企业内部轻量 AI 服务。它的核心设计思路是稀疏专家混合架构,每一层设置 256 个专家,每次请求只调用一小部分参数,搭配 Differential-TPA 加 Mamba-3 混合注意力,兼顾长文本和推理速度,不用高规格显卡,普通消费卡、工作站都可以部署,降低中小企业和个人开发者上手门槛。

Olala mini 7A1B 核心参数

  • 总参数:70 亿,激活参数:10 亿
  • 架构:Differential-TPA + Mamba-3 混合注意力,稀疏 MoE,每层 256 专家
  • 数据格式:BF16
  • 初始上下文窗口:32K token
  • 开源协议:Apache 2.0,可商用
  • 发布平台:Hugging Face
  • 训练硬件:GH200、A100、H100,三台欧洲公共超算
  • 训练总成本:700 万欧元
  • 性能参考
运行硬件推理速度
RTX A4500160 token/s
纯 CPU50 token/s

部署上手步骤

  1. 前往 Hugging Face 找到 Olala mini 7A1B 模型仓库,下载权重文件
  2. 环境准备:安装 transformers、accelerate、vLLM 或者 llama.cpp 推理框架
  3. 硬件检查:最低 8GB 显存 GPU,没有显卡可以用 CPU 模式加载
  4. 加载推理:选择 BF16 或者量化版本,启动对话、摘要、工具调用等能力
  5. 后续更新:年底 1.1 版本会升级到 128K 上下文,优化数学能力
  6. 进阶用法:可以搭配向量库,搭建本地知识库、私有 Agent 服务

版本规划

  • 当前版本:Olala mini 7A1B,32K 上下文,主打轻量化推理
  • 1.1 版本(预计年底):上下文扩容至 128K,数学能力优化
  • 长线规划:Olala 2.0,更大参数规模,面向企业级复杂场景

优势和短板

✅ 优势

  1. 稀疏激活,算力消耗低,8G 显存就能本地跑
  2. Apache2.0 开源协议,商用没有额外限制
  3. CPU 也能推理,适配无 GPU 的服务器设备
  4. 欧洲本土训练,适合海外本地化合规部署

❌ 短板

  1. 属于新系列首版,评测数据偏少,综合能力还需要大量实测
  2. 32K 上下文版本刚发布,长文本稳定性有待验证
  3. 对比成熟 7B 模型,生态、微调教程、社区工具还比较少

总结

Olala mini 7A1B 是 OVH 正式入局大模型赛道的第一款开源作品,稀疏激活的设计是它最大亮点,70 亿总参但只激活 10 亿,把硬件门槛压到 8G 显存,兼顾速度和部署成本。对于想要搭建本地私有 AI、轻量 Agent 的开发者来说,这个模型值得测试,不过它刚发布,生态还不完善,正式业务落地建议等后续版本和更多第三方评测结果。

【常见问题】

问题 1:OVH 开源的 Olala mini 7A1B 是什么架构,参数怎么理解?

回答 1:Olala mini 7A1B 采用 Differential-TPA+Mamba-3 混合注意力稀疏 MoE 架构,总参数 70 亿,每次推理只激活 10 亿参数,每层 256 个专家,属于按需激活的轻量化模型。

问题 2:Olala mini 7A1B 最低需要什么显卡才能跑?

回答 2:Olala mini 7A1B 最低 8GB 显存 GPU 就可以运行,在 RTX A4500 上可以跑到 160 token/s,没有显卡也支持纯 CPU 推理,速度约 50 token/s。

问题 3:Olala mini 7A1B 开源协议是什么,能不能商用?

回答 3:Olala mini 7A1B 使用 Apache 2.0 协议开源,放在 Hugging Face 发布,在协议范围内可以直接商用,没有额外强制绑定。

问题 4:Olala mini 7A1B 上下文是多少,后续版本会升级吗?

回答 4:当前 Olala mini 7A1B 初始上下文为 32K token,预计年底推出 1.1 版本,升级到 128K 上下文,同时优化数学能力。

问题 5:Olala mini 7A1B 是哪家公司的模型,训练环境在哪里?

回答 5:Olala mini 7A1B 是欧洲云厂商 OVHcloud 推出的 Olala 系列首模型,在三台欧洲公共超级计算机上,使用 GH200、A100、H100 完成训练。

【参考资料】

[2026-11-17](OVH 开源发布 AI 模型 Olala mini 7A1B)OVHcloud 官方新闻稿

[2026-11-17](欧洲云服务企业 OVH 涉足 AI 模型,开源发布 Olala mini 7A1B)IT 之家

[2026-11-17](OVHcloud 推出 Olala mini 7A1B 并开源)驱动中国

[2026-11-17](OVH announces Olala mini 7A1B)Hugging Face 行业资讯

【免责声明】

本文内容基于 OVHcloud 官方发布的 Olala mini 7A1B 公开信息整理,模型性能、长文本稳定性、微调效果受推理框架、量化方式、硬件影响,第三方实测结果可能存在差异,模型商用请仔细阅读 Apache2.0 协议条款,最终更新计划、技术参数以 OVH 官方后续公告为准。

今日大家都在搜的词: