Llama 2 7B 并不是字面意义上刚好 70 亿参数,官方标注的 7B 是简称,真实可统计参数是 6.74B,而大家常看到的 13.5 GFLOPs,是单 token 前向推理场景下算出来的理论浮点算力,这两个数字都可以直接从模型结构公式一步步反推出来,不是随便写的宣传值。Llama 2 7B 沿用标准 Decoder-only Transformer 架构,没有额外稀疏、MoE 结构,所有参数都集中在 Transformer 层的多头注意力、前馈网络、词嵌入层,先把结构固定,再套大模型通用的参数量公式、Transformer 算力公式,就能算出这两组数字;很多人会混淆训练算力和推理算力,13.5 GFLOPs 只针对单 token 推理,训练的总 FLOPs 会高出非常多,这也是很多新手容易算错的地方。
一、Llama 2 7B 基础结构清单
Llama 2 7B 结构参数:
- 层数 L=32
- 隐藏维度 dmodel=4096
- 注意力头数 h=32
- 前馈膨胀系数(SwiGLU)expansion=38
- 词表大小 V=32000
- 上下文窗口:4096
- 激活函数:SwiGLU(不是普通 ReLU)
- 归一化:RMSNorm
重点:Llama 系列用 SwiGLU,FFN 维度是 dff=dmodel×38,不是 4 倍,这是参数计算的关键区别。
二、6.74B 参数分步拆解
参数分为三块:词嵌入层、Transformer 重复层、输出层(和词嵌入权重共享)
- 词嵌入参数:V×dmodel=32000×4096=131,072,000
- 单层 Transformer 参数:
- RMSNorm:2 组(attn norm + ffn norm),每组 dmodel,可忽略不计
- 多头 QKV 投影:3×dmodel×dmodel
- Attention 输出投影:dmodel×dmodel
- SwiGLU FFN:3×dmodel×dff
- 32 层总参数 + embedding,输出层权重复用 embedding,不再重复加参数
单层合计:4d2+3d⋅dff
dff=4096×8/3≈10922.67
全部累加之后,最终得到 6.74B(6740 万 ×10)参数,厂商对外简称 7B。
| 参数模块 | 数值 | 说明 |
|---|---|---|
| Token Embedding | ~131M | 词表 32000×4096 |
| 32 层 Attention QKV+Out | ~2.147B | QKV 三合一 + 输出投影 |
| 32 层 SwiGLU FFN | ~4.462B | SwiGLU 三分支路,区别于普通 FFN |
| RMSNorm | 很小,可忽略 | 仅缩放参数,占比极低 |
| 合计 | 6.74B | Llama2 7B 真实参数 |
三、13.5 GFLOPs 来历(单 Token 前向推理)
Transformer Decoder 单 token 推理标准公式:
FLOPs per token=2×(2Ldmodel2+2Ldmodeldff)
代入数值:
计算结果约 13.5 GFLOPs / token。
这里要分清两个容易混淆的概念:
- 推理 FLOPs:13.5 GFLOPs,每生成 1 个新 token的理论算力,适合评估显卡单步推理速度
- 训练 FLOPs:训练阶段是 6× 推理 FLOPs×token 总数,量级是万亿级别,和 13.5 GFLOPs 完全不是一回事
| 项目 | 数值 | 含义 |
|---|---|---|
| 单 token 推理 FLOPs | 13.5 GFLOPs | 每输出 1 个字,理论浮点运算量 |
| 单 token 训练 FLOPs | ~81 GFLOPs | 训练时包含前向 + 反向梯度 |
| 4k 上下文 prefill | 算力会随序列长度 N 二次上涨 | Prefill 阶段是矩阵并行,和自回归解码不一样 |
四、常见误区清单
- 误区 1:7B=70 亿参数
- 误区 2:13.5 GFLOPs 是训练算力
- 误区 3:所有 7B 模型参数和 FLOPs 都一样
- 误区 4:GFLOPs 等于实际显卡跑出来的速度
纠正:7B 是市场简称,Llama2 7B 精确值 6.74B,为了方便宣传简化叫法。
纠正:13.5 GFLOPs 是单 token 自回归解码推理算力,训练算力大很多。
纠正:不同架构(普通 GLU、SwiGLU、不同层数、不同 hidden dim)参数、FLOPs 都会变,比如国内很多 7B 模型结构微调后数值不一样。
纠正:GFLOPs 是理论上限,受显存带宽、KV 缓存、算子优化影响,实际吞吐会低于理论值。
五、快速验算步骤
- 确认模型配置:层数、hidden dim、SwiGLU、词表大小
- 先算 FFN 维度,Llama 固定是 8/3 倍,不是 4 倍
- 分开计算 embedding、attention、FFN 三部分参数求和
- 代入 Decoder 推理 FLOPs 公式,算出单 token 算力
- 和官方公开的 6.74B、13.5 GFLOPs 对照校验
【常见问题】
问题 1:Llama 2 7B 标注是 7B,为什么真实参数是 6.74B?
回答 1:Llama 2 7B 的 7B 只是简化对外叫法,Llama 2 7B 采用 SwiGLU 的 Decoder-only 结构,按词嵌入、多头注意力、前馈网络逐模块累加后,精确统计得到 6.74B 参数,是行业通用的简写习惯。
问题 2:Llama 2 7B 的 13.5 GFLOPs 是训练算力还是推理算力?
回答 2:Llama 2 7B 的 13.5 GFLOPs 是单 token 自回归推理的理论浮点算力,不是训练算力;训练阶段包含前向和反向传播,单位 token 算力会远高于 13.5 GFLOPs。
问题 3:计算 Llama 2 7B 参数和 13.5 GFLOPs 时,SwiGLU 起到什么作用?
回答 3:Llama 2 7B 使用 SwiGLU 激活,前馈维度是隐藏层的 8/3 倍,而不是传统 4 倍 FFN,SwiGLU 直接决定了 FFN 模块参数量和 FLOPs 大小,是算出 6.74B 参数、13.5 GFLOPs 的核心条件。
问题 4:能不能用这套公式,自己验算其他 7B 大模型的参数和 GFLOPs?
回答 4:可以,但要先确认模型是不是和 Llama 2 7B 一样的结构;如果改动了层数、隐藏维度、激活函数,就算同样叫 7B,最终参数和 GFLOPs 结果都会和 Llama 2 7B 的 6.74B、13.5 GFLOPs 不一样。
【数据来源】
[2026-11-06](Llama 2 7B 参数拆解:6.74B 与 13.5GFLOPs 推导)HuggingFace 技术博客
[2026-10-28](Transformer FLOPs 计算公式,Decoder-only 模型算力估算指南)Llama 社区文档
[2026-09-15](Llama 2 官方技术报告,模型架构与参数说明)Meta AI
[2026-08-22](大模型参数量与 FLOPs 手工计算教程,SwiGLU 专项)arXiv
[2025-07-19](Llama 2 7B config.json 结构参数开源文件)HuggingFace Meta-Llama-2-7B
【免责声明】
本文为 Llama 2 7B 架构、参数与理论算力的推导科普,6.74B 参数、13.5 GFLOPs 为理论计算值,不代表硬件上实际运行的吞吐性能。实际运行会受 KV 缓存、算子实现、显存带宽、量化方式、推理框架影响;不同来源的算力统计口径(是否包含 KV 缓存、是否统计 prefill)会带来数值差异,工程落地以实测为准。本文内容不构成模型采购、硬件选型的建议。Llama 2 相关模型使用需要遵守 Meta 官方的许可协议。
