Transformer 五大改进模块 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 原理与手算讲解

现在主流大模型用的 Transformer,已经不是原版论文里的结构了,RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 这五处改造,是现在绝大多数 LLM