在深度学习模型中，Normalization是一种极为重要的技巧，Batch Normalization（BN）和Layer Normalization（LN）是其中最为常用的两种方法。然而，二者在实际应用中有着明显的区别与联系，尤其在Transformer的Attention机制中，LN有着独特的优势。
一、BN与LN的核心区别与联系
1. Batch Normalization (BN)
BN的思想源于一个叫Internal Covariate Shift（ICS）的概念，即在训练过程中，每个mini-batch的数据分布都会发生变化，导致训练变得困难。
BN的做法是在每个batch中，沿着特征通道对所有样本计算均值和方差，使数据强制保持均值为0、方差为1的分布。这有效地缓解了梯度消失的问题，加速了模型的训练过程。
BN计算公式为：
y = x − μ b a t c h σ b a t c h 2 + ϵ ⋅ γ + β y = \frac{x - \mu_{batch}}{\sqrt{\sigma_{batch}^{2} + \epsilon}} \cdot \gamma + \beta y=σbatch2+ϵx−μbatch⋅γ+β
- 其中 u b a t c h u_{batch} ubatch、 σ b a t c h \sigma_{batch} σbatch 分别为批次数据的均值和方差。
- γ \gamma γ、 β \beta β为可学习的缩放和平移参数，保证归一化操作后仍保留特征表达能力。
2. Layer Normalization (LN)
LN与BN最大的区别在于，LN的归一化操作不是跨batch进行，而是在单个数据实例的特定维度或特征内部进行。
LN的计算公式为：
y = x − μ l a y e r σ l a y e r 2 + ϵ ⋅ γ + β y = \frac{x - \mu_{layer}}{\sqrt{\sigma_{layer}^{2} + \epsilon}} \cdot \gamma + \beta y=σlayer2+ϵx−μlayer⋅γ+β
- LN不依赖于batch大小，每个数据实例单独进行归一化，因此避免了BN在batch size过小或过大时效果变差的问题。
- 归一化的维度可自由指定，常见于序列数据处理，比如NLP中的Transformer模型。
二、为什么Attention更适合使用LN？
Transformer模型的核心组成——自注意力（self-attention）机制，强调的是对单个序列内各元素之间的相互关系，且常需处理长度不固定的序列数据。因此，Attention机制更适合使用LN的原因主要有以下几点：
1. Attention机制的数据特性
Attention机制通常处理的是可变长度的序列数据，比如句子或文档。这种场景下，batch内部的数据长度可能各异，而BN对batch size和数据长度极为敏感，小batch情况下表现尤为糟糕。
2. 独立性与稳定性
LN不依赖于batch size或数据长度的特性，使得其在处理每个单独序列数据时都可以获得稳定的效果。
Transformer结构中的Attention模块通常是对序列的每个位置独立计算注意力权重，更需要一种不依赖于整个batch统计信息的归一化方法。LN刚好满足了这种需求，每个数据实例都独立计算均值和方差，避免了BN在Attention中因序列长度不一带来的问题。
3. 更好地适配小batch和动态长度数据
LN在小batch或者甚至batch size为1的情况下依然稳定有效，尤其适用于大模型和动态长度的序列数据，这恰好是Transformer在训练中经常遇到的场景。
三、小结
综上，虽然BN和LN都是为了解决训练过程中的数据分布问题而提出的归一化技术，但它们的适用场景有所不同。
- BN适合于稳定、较大的batch size场景，常用于CNN。
- LN则更适合于动态长度、batch size不确定或很小的序列任务，比如NLP中的Transformer模型，尤其是Attention机制。
Attention机制之所以广泛使用LN，本质原因就在于其能够更好地处理每个数据实例的独立特征统计特性，提供更加稳定、高效的训练效果，推动了Transformer模型在自然语言处理领域的广泛成功。
![[从零开始学习JAVA] Stream流](/images/no-images.jpg)
