Transformer 权重反复使用是否更省计算,研究验证循环复用哪些层效果最优

Transformer 权重反复循环复用,参数占用会明显变少,但不一定直接省下计算量,核心取决于选择循环哪些层、循环次数、训练约束条件;之所