批量归一化（BN）已成为许多高级深度学习模型的重要组成部分，特别是在计算机视觉领域。它通过批量计算的均值和方差对层输入进行归一化，因此得名。为了使BN 工作，批量大小必须足够大，通常至少为32。但是，在某些情况下，我们必须满足： 的小批量

当每个数据样本都是高度内存密集型时，例如视频或高分辨率图像

当我们训练一个非常大的神经网络时，它只留下很少的GPU 内存来处理数据

因此，我们需要一种适合小批量的BN 替代方案。组归一化(GN) 是一种最先进的归一化方法，它避免利用批量维度，因此与批量大小无关。

不同的归一化方法

为了便于GN的制定，我们首先看一下以前的一些标准化方法。

x (x - )/( + )

对于每个系数x 输入特征。 和 的均值和方差是根据集合S 系数计算的，并且是数值稳定且避免被零除的小常数。唯一的区别是如何选择集合S。

为了说明归一化方法的计算，我们考虑一批N=3，输入特征a、b、c，其通道c=4，高度H=1，宽度W=2:

a=[ [[2, 3]], [[5, 7]], [[11, 13]], [[17, 19]] ]b=[ [[0, 1]], [[1, 2]]、[[3, 5]]、[[8, 13]] ]c=[ [[1, 2]]、[[3, 4]]、[[5, 6]]、[[7 , 8]] ]

因此批次的形状为(N, C, H, W)=(3, 4, 1, 2)。我们输入=0.00001。

Batch Normalization

BN 对通道进行归一化并沿轴(N、H、W) 计算 和。批次 系数定义为同一通道的一组批次x。

=2的第一个系数，i=(0,0,0)，计算对应的和系数，b和c的第一个通道：

=均值(2, 3, 0, 1, 1, 2)=1.5=var(2, 3, 0, 1, 1, 2)=0.917

代入归一化公式，

a (2 - 1.5)/(0.917 + 0.00001)=0.522

计算a的所有系数

[ [[0.522, 1.567]], [[0.676, 1.690]], [[1.071, 1.630]], [[1.066, 1.492]] ]

Layer Normalization

层归一化（LN）旨在克服BN 的缺点，包括其批量大小限制。 和 沿(C, H, W) 轴计算，S 定义为属于相同输入特征的所有系数x。因此，一个输入特征的计算完全独立于批次中的其他输入特征。

所有系数均由相同的 和 归一化

=平均值(2, 3, 5, 7, 11, 13, 17, 19)=9.625=var(2, 3, 5, 7, 11, 13, 17, 19)=35.734

计算a的所有系数

[[[-1.276, -1.108]], [[-0.773, -0.439]], [[0.230, 0.565]], [[1.234, 1.568]] ]

Instance Normalization

实例归一化(IN) 可以被认为是将BN 公式单独应用于每个输入特征（也称为实例），就好像它是批次中的唯一成员一样。更准确地说，在沿轴（H，W）计算和时，S的系数被定义为一组相同的输入特征，并且x也在同一通道中。

由于IN 的计算与批量大小为1 的BN 的计算相同，因此IN 在大多数情况下实际上会让情况变得更糟。对于风格迁移任务，IN 在丢弃图像对比度信息方面比BN 更好。

第一个系数a=2,i=i(0,0,0)，对应的和就是

=均值(2, 3)=2.5=var(2, 3)=0.25

什么时候

a (2 - 2.5)/(0.25 + 0.00001)=-1.000

得到

a [ [[-1.000, 1.000]], [[-1.000, 1.000]], [[-1.000, 1.000]], [[-1.000, 1.000]] ]

Group Normalization

前面我们说过，当batch size为1时IN的计算和BN的计算是一样的，但是BN是分别应用于每个输入特征的。请注意，IN 也可以视为将LN 单独应用于每个通道，就像通道数为1 的LN 一样。

组标准化(GN) 是IN 和LN 之间的中间点。要将通道组织成不同的组，请沿(H, W) 轴和一组通道计算 和。然后，批次 在相同的输入特征和同一组x 通道上与系数分组。

组数G 是一个预定义的超参数，通常需要对c 进行分区。为简单起见，我们按顺序对通道进行分组。因此通道1,C/G 属于第一组，通道C/G+1,2C/G 属于第二组，依此类推。当G=C时，即每组只有1个通道，则GN变为IN。另一方面，当G=1时，GN变为LN。因此G控制IN和LN之间的差异。

在我们的示例中，考虑G=2。归一化的第一个系数a=2,i=(0,0,0)，我们使用4/2=2 个通道中的系数

=均值(2, 3, 5, 7)=4.25=var(2, 3, 5, 7)=3.687

代入归一化公式，

a (2 - 4.25)/(3.687 + 0.00001)=-1.172

a的其他系数，计算方法类似：

[ [[-1.172, -0.651]], [[0.391, 1.432]], [[-1.265, -0.633]], [[0.633, 1.265]] ]

归一化方法比较

蓝色区域对应于集合S，其中计算 和，然后用于标准化蓝色区域中的任何系数。

从这个图中我们可以看到GN是如何插入到IN和LN之间的。 GN 比IN 更好，因为GN 可以利用跨渠道依赖性。它也比LN 更好，因为它允许为每组通道学习不同的分布。

当批量较小时，GN 总是优于BN。然而，当批量大小非常大时，GN 的扩展性不如BN，并且可能无法与BN 的性能相匹配。

引用

1. A. Kolesnikov、L. Beyer、X. Zhai、J. Puigcerver、J. Yung、S. Gelly 和N. Houlsby。 Big Transfer (BiT) : 通用视觉表示学习(2019)，arXiv 预印本。

1. S. Qiao、H. Wang、C. Liu、W. Shen 和A. Yuille。体重标准化（2019），arXiv 预印本。

1. S.桑图尔卡、D.齐普拉斯、A.伊利亚斯和A.马德里。批量归一化如何帮助优化？ （2018），NIPS 2018。