首页
科技要闻
互联网
手机
家电
机器人
5G/通信
数码
人工智能
硬件
IT
资讯
业界
科技金融
企业动态
半导体
iOS
Android
Mac
标签 >
现代 Transformer 的五处改造:RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算
Transformer 五大改进模块 RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 原理与手算讲解
现在主流大模型用的 Transformer,已经不是原版论文里的结构了,RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 这五处改造,是现在绝大多数 LLM
2026-11-06 14:20:26