Pytorch中不同的Norm归一化详细讲解

在这里插入图片描述

在做项目或者看论文时，总是能看到Norm这个关键的Layer，但是不同的Norm Layer具有不同的作用，准备好接招了吗？（本文结论全部根据pytorch官方文档得出，请放心食用）

一. LayerNorm

LayerNorm的公示如下：
$y=\frac{x-\mathrm{E}[x]}{\sqrt{\operatorname{Var}[x]+\epsilon}} * \gamma+\beta$

Parameters（参数）:

normalized_shape
eps（确保分母不为0）
elementwise_affine（布尔类型，是否要为每个元素添加一个可学习的仿射变换参数）
bias（布尔类型，在elementwise_affine为True时可选择为每个元素另外加上一个可学习的偏置项）

其中可变化的量即可学习的参数即 elementwise_affine涉及的权重以及bias。
归一化的维度是由normalized_shape来决定的。假设输入的张量形状是[B,C,H,W],此时常见的normalized_shape为[C,H,W]。换句话说，由于最后三个维度包含一张完整的图片信息，它会计算每个图片的 CxHxW 张量的均值和标准差，并进行归一化，使得这个张量在归一化后均值为 0，标准差为 1。
举个具体的例子来说明，假设输入张量 x 如下：
$x=\left[\begin{array}{c}{\left[\begin{array}{cccc}1 & 2 & 3 & 4 \\5 & 6 & 7 & 8 \\9 & 10 & 11 & 12\end{array}\right]} \\{\left[\begin{array}{cccc}13 & 14 & 15 & 16 \\17 & 18 & 19 & 20 \\21 & 22 & 23 & 24\end{array}\right]}\end{array}\right]$
我们假设要对后两个维度进行归一化。
1. 计算均值
$\mathrm{E}\left[x_{1}\right]=\frac{1+2+3+4+5+6+7+8+9+10+11+12}{12}=\frac{78}{12}=6.5$
$\mathrm{E}\left[x_{2}\right]=\frac{13+14+15+16+17+18+19+20+21+22+23+24}{12}=\frac{222}{12}=18.5$
2. 对每个样本的二维切片计算方差。
第一个样本：
$\operatorname{Var}\left[x_{1}\right]=\frac{(1-6.5)^{2}+(2-6.5)^{2}+\cdots+(12-6.5)^{2}}{12}=11.9167$
第二个样本：
$\operatorname{Var}\left[x_{2}\right]=\frac{(13-18.5)^{2}+(14-18.5)^{2}+\cdots+(24-18.5)^{2}}{12}=11.9167$
3. 计算归一化后的值
方便起见，我们设定 ϵ=0：
$y_{1}=\left[\begin{array}{cccc}-1.593 & -1.301 & -1.010 & -0.718 \\-0.426 & -0.135 & 0.157 & 0.449 \\0.740 & 1.032 & 1.323 & 1.615\end{array}\right]$
$y_{2}=\left[\begin{array}{cccc}-1.593 & -1.301 & -1.010 & -0.718 \\-0.426 & -0.135 & 0.157 & 0.449 \\0.740 & 1.032 & 1.323 & 1.615\end{array}\right]$
4. 应用可学习的仿射变换（可选）

具体应用：
我们的核心目标是对一个完整对象利用LayerNorm，所以这是我们的第一目标。

NLP：
在NLP领域中，最常见的单体对象就是word。常见的输入形状是[B,Seq_len,Word_dim]，即batch_size，每个句子包含几个单词，每个单词的具体维度。所以我们在最后一个维度即单词维度进行归一化。

python"># NLP Example
batch, sentence_length, embedding_dim = 20, 5, 10
embedding = torch.randn(batch, sentence_length, embedding_dim)
layer_norm = nn.LayerNorm(embedding_dim)
# Activate module
layer_norm(embedding)

CV：
视觉也不用多说了，最多的就是在后三个维度（即完整的一张图像上）进行归一化。

python">N, C, H, W = 20, 5, 10, 10
input = torch.randn(N, C, H, W)
# Normalize over the last three dimensions (i.e. the channel and spatial dimensions)
# as shown in the image below
layer_norm = nn.LayerNorm([C, H, W])
output = layer_norm(input)

二. BatchNorm2d

公式与LayerNorm完全相同。但是在代码中其操作的维度不一样。LayerNorm是对整张图像进行归一化（操作后三个维度），而BatchNorm2d则是对通道进行归一化，比如说我们有256张图片作为一个批次，每张图片有3个通道为R,G,B，那么在R通道在归一化需要使用这256张图片的R通道。（G,B通道同理）

Parameters（参数）:

num_features：定义了通道数。
eps ：用于数值稳定性。
momentum：控制运行均值和方差的更新速度。
affine：决定是否有可学习的缩放和偏移参数。
track_running_stats：控制是否在推理时使用运行时统计量。

示例代码如下：

python"># With Learnable Parameters
m = nn.BatchNorm2d(100)
# Without Learnable Parameters
m = nn.BatchNorm2d(100, affine=False)
input = torch.randn(20, 100, 35, 45)
output = m(input)

三. InstanceNorm2d

公式还是和上面的完全一样。InstanceNorm2d与BatchNorm2d非常相似，只不过InstanceNorm2d更进一步，它实现了单个样本单通道的归一化。
Parameters（参数）:

num_features 定义了通道数。
eps 用于防止数值不稳定。
momentum 控制 running_mean 和 running_var 的更新速度（如果track_running_stats=True）。
affine 决定是否有可学习的缩放和偏移参数。
track_running_stats 决定是否在推理时使用累计的均值和方差，还是每次使用当前样本的统计量。

示例代码如下：
输入：(B,C,H,W) or (C,H,W)
输出：(B,C,H,W) or (C,H,W) 形状不变，当B=1时即（C,H,W），此时就是支持单个样本进行归一化的情况。

python"># Without Learnable Parameters
m = nn.InstanceNorm2d(100)
# With Learnable Parameters
m = nn.InstanceNorm2d(100, affine=True)
input = torch.randn(20, 100, 35, 45)
output = m(input)

四. GroupNorm

公式还是和上面三个一样。然而GroupNorm在Instance的基础上，可以将通道进行分组归一化。比如说一个样本共有8个通道，设置num_groups=2,那么1-4的channels，2-4的channels将被分组进行归一化。
Parameters（参数）:

num_groups：定义了将通道分为多少组，每组内独立计算均值和方差。
num_channels：定义了输入数据的通道数，确保与 num_groups 匹配。
eps：防止除零错误的小值，确保计算稳定性。
affine：决定是否为每个通道学习仿射参数（缩放和偏移）。

示例代码：

python">input = torch.randn(20, 6, 10, 10)
# Separate 6 channels into 3 groups
m = nn.GroupNorm(3, 6)
# Separate 6 channels into 6 groups (equivalent with InstanceNorm)
m = nn.GroupNorm(6, 6)
# Put all 6 channels into a single group (equivalent with LayerNorm)
m = nn.GroupNorm(1, 6)
# Activating the module
output = m(input)