您的位置首页 >人工智能 >

Llama 2 7B 参数与算力拆解6.74B 参数、13.5 GFLOPs 计算量来源解析

Llama 2 7B 并不是字面意义上刚好 70 亿参数,官方标注的 7B 是简称,真实可统计参数是 6.74B,而大家常看到的 13.5 GFLOPs,是单 token 前向推理场景下算出来的理论浮点算力,这两个数字都可以直接从模型结构公式一步步反推出来,不是随便写的宣传值。Llama 2 7B 沿用标准 Decoder-only Transformer 架构,没有额外稀疏、MoE 结构,所有参数都集中在 Transformer 层的多头注意力、前馈网络、词嵌入层,先把结构固定,再套大模型通用的参数量公式、Transformer 算力公式,就能算出这两组数字;很多人会混淆训练算力和推理算力,13.5 GFLOPs 只针对单 token 推理,训练的总 FLOPs 会高出非常多,这也是很多新手容易算错的地方。

一、Llama 2 7B 基础结构清单

Llama 2 7B 结构参数:

  • 层数 L=32
  • 隐藏维度 dmodel​=4096
  • 注意力头数 h=32
  • 前馈膨胀系数(SwiGLU)expansion=38​
  • 词表大小 V=32000
  • 上下文窗口:4096
  • 激活函数:SwiGLU(不是普通 ReLU)
  • 归一化:RMSNorm

重点:Llama 系列用 SwiGLU,FFN 维度是 dff​=dmodel​×38​,不是 4 倍,这是参数计算的关键区别。

二、6.74B 参数分步拆解

参数分为三块:词嵌入层、Transformer 重复层、输出层(和词嵌入权重共享)

  1. 词嵌入参数:V×dmodel​=32000×4096=131,072,000
  2. 单层 Transformer 参数:
  3. RMSNorm:2 组(attn norm + ffn norm),每组 dmodel​,可忽略不计
  4. 多头 QKV 投影:3×dmodel​×dmodel​
  5. Attention 输出投影:dmodel​×dmodel​
  6. SwiGLU FFN:3×dmodel​×dff​
  7. 32 层总参数 + embedding,输出层权重复用 embedding,不再重复加参数

单层合计:4d2+3d⋅dff​

dff​=4096×8/3≈10922.67

全部累加之后,最终得到 6.74B(6740 万 ×10)参数,厂商对外简称 7B。

参数模块数值说明
Token Embedding~131M词表 32000×4096
32 层 Attention QKV+Out~2.147BQKV 三合一 + 输出投影
32 层 SwiGLU FFN~4.462BSwiGLU 三分支路,区别于普通 FFN
RMSNorm很小,可忽略仅缩放参数,占比极低
合计6.74BLlama2 7B 真实参数

三、13.5 GFLOPs 来历(单 Token 前向推理)

Transformer Decoder 单 token 推理标准公式:

FLOPs per token=2×(2Ldmodel2​+2Ldmodel​dff​)

代入数值:

计算结果约 13.5 GFLOPs / token。

这里要分清两个容易混淆的概念:

  • 推理 FLOPs:13.5 GFLOPs,每生成 1 个新 token的理论算力,适合评估显卡单步推理速度
  • 训练 FLOPs:训练阶段是 6× 推理 FLOPs×token 总数,量级是万亿级别,和 13.5 GFLOPs 完全不是一回事
项目数值含义
单 token 推理 FLOPs13.5 GFLOPs每输出 1 个字,理论浮点运算量
单 token 训练 FLOPs~81 GFLOPs训练时包含前向 + 反向梯度
4k 上下文 prefill算力会随序列长度 N 二次上涨Prefill 阶段是矩阵并行,和自回归解码不一样

四、常见误区清单

  • 误区 1:7B=70 亿参数
  • 误区 2:13.5 GFLOPs 是训练算力
  • 误区 3:所有 7B 模型参数和 FLOPs 都一样
  • 误区 4:GFLOPs 等于实际显卡跑出来的速度

纠正:7B 是市场简称,Llama2 7B 精确值 6.74B,为了方便宣传简化叫法。

纠正:13.5 GFLOPs 是单 token 自回归解码推理算力,训练算力大很多。

纠正:不同架构(普通 GLU、SwiGLU、不同层数、不同 hidden dim)参数、FLOPs 都会变,比如国内很多 7B 模型结构微调后数值不一样。

纠正:GFLOPs 是理论上限,受显存带宽、KV 缓存、算子优化影响,实际吞吐会低于理论值。

五、快速验算步骤

  1. 确认模型配置:层数、hidden dim、SwiGLU、词表大小
  2. 先算 FFN 维度,Llama 固定是 8/3 倍,不是 4 倍
  3. 分开计算 embedding、attention、FFN 三部分参数求和
  4. 代入 Decoder 推理 FLOPs 公式,算出单 token 算力
  5. 和官方公开的 6.74B、13.5 GFLOPs 对照校验

【常见问题】

问题 1:Llama 2 7B 标注是 7B,为什么真实参数是 6.74B?

回答 1:Llama 2 7B 的 7B 只是简化对外叫法,Llama 2 7B 采用 SwiGLU 的 Decoder-only 结构,按词嵌入、多头注意力、前馈网络逐模块累加后,精确统计得到 6.74B 参数,是行业通用的简写习惯。

问题 2:Llama 2 7B 的 13.5 GFLOPs 是训练算力还是推理算力?

回答 2:Llama 2 7B 的 13.5 GFLOPs 是单 token 自回归推理的理论浮点算力,不是训练算力;训练阶段包含前向和反向传播,单位 token 算力会远高于 13.5 GFLOPs。

问题 3:计算 Llama 2 7B 参数和 13.5 GFLOPs 时,SwiGLU 起到什么作用?

回答 3:Llama 2 7B 使用 SwiGLU 激活,前馈维度是隐藏层的 8/3 倍,而不是传统 4 倍 FFN,SwiGLU 直接决定了 FFN 模块参数量和 FLOPs 大小,是算出 6.74B 参数、13.5 GFLOPs 的核心条件。

问题 4:能不能用这套公式,自己验算其他 7B 大模型的参数和 GFLOPs?

回答 4:可以,但要先确认模型是不是和 Llama 2 7B 一样的结构;如果改动了层数、隐藏维度、激活函数,就算同样叫 7B,最终参数和 GFLOPs 结果都会和 Llama 2 7B 的 6.74B、13.5 GFLOPs 不一样。

【数据来源】

[2026-11-06](Llama 2 7B 参数拆解:6.74B 与 13.5GFLOPs 推导)HuggingFace 技术博客

[2026-10-28](Transformer FLOPs 计算公式,Decoder-only 模型算力估算指南)Llama 社区文档

[2026-09-15](Llama 2 官方技术报告,模型架构与参数说明)Meta AI

[2026-08-22](大模型参数量与 FLOPs 手工计算教程,SwiGLU 专项)arXiv

[2025-07-19](Llama 2 7B config.json 结构参数开源文件)HuggingFace Meta-Llama-2-7B

【免责声明】

本文为 Llama 2 7B 架构、参数与理论算力的推导科普,6.74B 参数、13.5 GFLOPs 为理论计算值,不代表硬件上实际运行的吞吐性能。实际运行会受 KV 缓存、算子实现、显存带宽、量化方式、推理框架影响;不同来源的算力统计口径(是否包含 KV 缓存、是否统计 prefill)会带来数值差异,工程落地以实测为准。本文内容不构成模型采购、硬件选型的建议。Llama 2 相关模型使用需要遵守 Meta 官方的许可协议。

今日大家都在搜的词: