Layer Normalization 与 Batch Normalization 在 Transformer 中为何偏好前者?
Layer Normalization vs Batch Normalization 在 Transformer 中的选择
一、两者核心区别
归一化维度不同
假设输入张量形状为 [Batch, SeqLen, d_model]:
Batch Normalization (BN)┌──────────────┐Batch │ s₁ s₂ s₃ │ ← 对每个特征维…
2026/8/2 4:45:26