为什么 Transformer 中每个子层后都要有残差连接(Residual Connection)?
Transformer 中残差连接的必要性
一、残差连接的形式
Transformer 中每个子层的输出统一为:
output LayerNorm(x Sublayer(x))其中 x 是子层输入,Sublayer(x) 是子层本身(自注意力或 FFN)的输出,x Sublayer(x) 即残…
2026/8/2 4:45:16