您的位置首页 >科技要闻 >

百度开源文心 5.5 Flash Base,以 2800 亿参数和 33.5 万亿 Token 预训练做效率底座

我先核对百度官方开源信息与模型参数细节。

官方技术博客、模型卡与部署文档都已核对,下面按固定格式输出。

百度在 2026 年 11 月 5 日正式开源最新基座模型文心 5.5 Flash Base(ERNIE-5.5-Flash-Base),采用稀疏 MoE 架构,总参数 2800 亿、每个 token 只激活 140 亿,在 33.5 万亿 token 上从零完成预训练,训练上下文逐步扩展到 128K,微调与推理阶段支持最长 100 万 token。它开放的是预训练终点的权重,没有经过中训练和后训练,因此开箱不能当聊天机器人用,只能作为领域适配、指令微调和强化学习研究的统一起点。权重已在 Hugging Face 提供 FP8 与 BF16 两个版本,vLLM 插件与 SGLang 部署配方同步放出,NVIDIA 的 Megatron-Bridge 也提供了全参数 SFT 示例。百度同时表示,经过后训练的 ERNIE 5.5 Flash 正式版将在后续推出。

一、模型规格一览

项目参数
架构稀疏 MoE,纯文本
总参数/激活参数280B/14B per token
层数43 层(1 层稠密 FFN + 42 层 Multi-Router Latent MoE)
隐层维度/注意力头Hidden 4096/64 头
专家配置512 个路由专家取 top-10,外加 1 个共享专家,专家在 2048 维隐空间计算
预训练数据33.5T tokens,从零预训练
训练上下文最高 128K(131,072)
微调/推理上下文最高 1M(1,048,576)
优化器/精度Muon + FP8 混合精度
词表约 20 万,R2L 分词器(数字从右向左三位一组切分)
权重格式FP8/BF16 safetensors

二、三项架构改造,全部围绕 “每 token 成本”

改造作用对象具体做法带来的变化
Latent-Gated Sparse Attention模型怎么读历史37 层用 HCA(每 128 个 token 压成 1 条缓存 + 128 token 滑窗),6 层用 MLA + DSA 稀疏检索长上下文 KV Cache 大幅压缩,同时保留细粒度检索
Multi-Router Latent MoE模型怎么选专家多个独立 Sigmoid 路由器共同打分,专家在 2048 维隐空间计算路由与专家实际效用相关性提升,专家 FLOPs 与通信量约减半
ECHO模型怎么预判后续 token复用主干最后一层承担未来 token 预测,不新增 MTP 模块推理与代码能力受益,该层还能直接当投机解码草稿模型

配套还有三处细节:低秩门控注意力用注意力层自身生成的低秩 query latent 算输出门,门控投影参数量减少 75%;虚拟头注意力(VHA)在推理时融进注意力算子,几乎不增加开销;MultiMax 输出头用可学习分段温度调制 logits。训练侧则改进了分布式 Muon—— 在数千卡规模下把 Dense 与 MoE 参数的跨机通信合并成一次集合通信 —— 并推出面向大 head dim 的 FlashMask-4 算子,支持 SM90 与 SM100,head dim 最高 576(qk)/512(v)。

三、30 项评测:强在哪、平在哪

百度在综合、知识、理科、推理、多语言、代码、长上下文七类共 30 项基准上做了评测,四个模型都用各自公开 checkpoint、同一套评测框架:

基准文心 5.5 Flash BaseDeepSeek-V4-Flash-Base(284B-A13B)Hy3-preview-Base(295B-A21B)MiMo-V2.5-Base(310B-A15B)
MMLU(5-shot)93.389.487.587.6
MMLU-Pro78.4———
HumanEval+(Pass@1)82.369.578.074.4
MBPP81.5———
FullStackBench(Pass@1)54.643.356.754.1
InfiniteBench(0-shot 均值)46.548.033.046.7

读法很直接:知识类与单函数代码上优势明显,MMLU 领先同级 4 分以上、HumanEval+ 领先 12.8 分;仓库级代码的 FullStackBench 略低于 Hy3;长上下文 InfiniteBench 与 DeepSeek 基本同档。整体属于 “多处领先、少数持平” 的位置,而不是全面压制。

四、预训练语料的三条主线

数据类型处理方式强化的能力
网页数据多语言抓取、高保真正文抽取、模型驱动的多维质量过滤知识覆盖面与有效信号密度
代码数据仓库与网页代码去重分级,补入 commit、issue、PR、代码评审、需求到 PR、多 commit 轨迹、自动生成测试、CI 验证的修复仓库级理解与工程化改码
长文数据经长程依赖筛选的天然长文档、混入语义相近干扰文本的长序列、合成的检索式与引用式问答、多跳问答长上下文检索与多跳推理

这三类数据的分工很清楚:网页补知识,代码补工程,长文补上下文。对 Agent 场景来说,仓库级代码与长程依赖这两项最难靠后期少量数据补齐,所以被放进了预训练阶段。

五、跑起来需要什么硬件

硬件FP8(约 280GB 权重)BF16(约 560GB 权重)
B300/GB300(288GB)2 卡4 卡
B200(192GB)4 卡8 卡
GB200(192GB)4 卡2 柜 × 4 卡
H100(80GB)8 卡2 节点 × 8 卡

部署路径有三条:vLLM 插件(baidu/vLLM-ERNIE)、SGLang 配方(含 HiCache 分层 KV 缓存与 PD 分离)、以及 NVIDIA Megatron-Bridge 的全参数 SFT 示例(16 节点 × 4 张 GB300,在 GB200/GB300 上验证)。注意这是纯基座模型,服务走 completions 接口,不走 chat 接口 —— 没有指令跟随,也没有工具调用。

六、开源了什么、没开源什么

  • 已开放:预训练终点权重(FP8 与 BF16)、模型卡与完整评测表、技术博客、vLLM 与 SGLang 部署配方、Megatron-Bridge 微调示例。
  • 未包含:中训练、后训练、指令微调、对齐、思维链与工具调用能力 —— 这些留给开发者自己做。
  • 随后推出:经过后训练的 ERNIE 5.5 Flash(FP8/FP4/BF16),支持推理、工具调用与内置 DSpark 草稿模型。
  • 需要自行确认:具体许可条款在不同平台文档中的表述并不一致,商用前应以 Hugging Face 模型卡所载协议原文为准。

七、谁该现在用,谁该再等等

  • 该现在用的:做预训练方法对比、对齐研究、长上下文实验的团队 —— 固定 checkpoint 让不同方法有共同基线,不必重跑一遍 33.5 万亿 token。
  • 该现在用的:要针对代码与 Agent 场景做领域微调的企业,语料构成和 HumanEval+ 成绩都指向这个方向。
  • 可以等等的:只想要一个能对话的模型 —— 直接等后训练版,基座版不会礼貌回答你的问题。
  • 要提前算账的:全参数微调需要多节点高显存集群,多数团队更现实的路线是参数高效微调。

【常见问题】

问题 1:文心 5.5 Flash Base 开源了什么?

回答 1:文心 5.5 Flash Base 开放的是预训练终点权重,提供 FP8 与 BF16 两个版本,附带模型卡、完整评测表与技术博客;文心 5.5 Flash Base 不包含中训练与后训练,因此不能直接当聊天模型使用。

问题 2:文心 5.5 Flash Base 的参数量和数据量是多少?

回答 2:文心 5.5 Flash Base 总参数 2800 亿、每 token 激活 140 亿,在 33.5 万亿 token 上从零完成预训练;文心 5.5 Flash Base 的训练上下文最高 128K,微调与推理阶段可扩展到 100 万 token。

问题 3:文心 5.5 Flash Base 为什么强调效率?

回答 3:文心 5.5 Flash Base 用 37 层 HCA 压缩历史缓存、6 层 MLA-DSA 保留精细检索,并以 Multi-Router Latent MoE 提升专家选择稳健性;文心 5.5 Flash Base 的专家 FLOPs 与通信量约为全宽专家的一半,长上下文的显存开销也被显著压低。

问题 4:文心 5.5 Flash Base 部署起来需要多少显存?

回答 4:文心 5.5 Flash Base 的 FP8 权重约 280GB,在 B300/GB300 上 2 卡即可,B200 需 4 卡,H100 需 8 卡;文心 5.5 Flash Base 的 BF16 权重约 560GB,所需卡数相应翻倍,实际配置还要为 KV Cache 留出余量。

【数据来源】

[2026-11-06](33.5 万亿 Token 喂出来!百度文心 5.5 Flash Base 正式开源)站长之家

[2026-11-05](百度开源文心 5.5 Flash Base)新华网

[2026-11-05](280B 总参数、14B 激活!百度开源文心 5.5 Flash Base,拿下同尺寸 SOTA)智东西

[2026-11-05](百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B)IT 之家

[2026-11-05](今天,文心 5.5 Flash Base 正式开源)百度

[2026-11-05](ERNIE-5.5-Flash 部署配方与模型说明)SGLang Documentation

[2026-11-05](Baidu's ERNIE 5.5 Flash Base: A 280B Open-Weight Model You Can Fine-Tune)DEV Community

[2026-11-05](Baidu Open-Sources 280-Billion-Parameter ERNIE 5.5 Flash Base)AIBase

免责声明

本内容仅作模型技术信息梳理,参数规模、训练数据量、架构细节与评测成绩均引自百度技术博客、Hugging Face 模型卡及公开部署文档;评测数据由厂商自行公布,尚未经第三方独立复现,许可条款与商用条件请以模型卡所载协议原文为准,本文不构成采购或技术选型建议。

今日大家都在搜的词: