大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索

大模型里的巨大激活,不是模型出错产生的异常数值,是训练过程里自适应形成的梯度调节结构。之前大部分研究都盯着模型前向推理过程解释巨大

清华北大研究揭秘大模型巨大激活成因 从反向传播机制找到新线索

清华和北大联合团队针对大模型里的巨大激活现象开展理论与实验研究,过去大家大多只观察到巨大激活这个现象,猜测它是模型自带的隐式偏置,