理解Batch Normalization系列2——训练及评估（清晰解释）

上一期介绍了Batch Normalization的前向传播，然而想法美好，然而能否计算、如何计算这些新参数才是重点。

系列目录

理解Batch Normalization系列1——原理

理解Batch Normalization系列2——训练及评估

理解Batch Normalization系列3——为什么有效及若干讨论

理解Batch Normalization系列4——实践

​ 图 1. BN的结构

1 训练阶段

引入BN，增加了$\mu$、$\sigma$、$\gamma$、$\beta$四个参数。

这四个参数的引入，能否计算梯度？它们分别是如何初始化与更新？

1.1 反向传播

神经网络的训练，离不开反向传播，必须保证BN的标准化、缩放平移两个操作必须可导。

缩放平移就是一个线性公式，求导很简单。而对于标准化时的统计量，看起来有点无从下手。其实是凭借图1的变量关系，可以绘制计算图，如图2所示。Frederik Kratzert 在这篇博文中有详细的计算，对每一个环节都进行了详细的描述。

​ 图 2. 求解BN反向传播的计算图 (来源: 这篇博文)

由图2可见：

• 每个环节都可导
• 只要求出各个环节的导数
• 用链式法则（串联关系就相乘，并联关系就相加）求出总梯度。

狗尾续貂，对这个反传大致做了一个流程图，如图3所示，帮助理解。

​ 图 3. BN层反传的流程图 (来源: 这篇博文)

注意，均值的梯度、方差的梯度的计算，只是为了保证梯度的反向传播链路的通畅，而不是为了更新自己（没明白下文还会解释）；缩放因子$\gamma$和j和平移因子$\beta$的梯度传播则和权重W一样，不影响反向传播链路的通畅，只是为了更新自己。

最后的结果就是原论文中表述：

​ 图4. BN的反向传播. (来源: Batch Normalization Paper)

如果是从事学术，不妨练练手。

1.2 参数的初始化及更新

讨论一下图1中的6个参数的初始化及更新问题。

• W

  初始化用标准正态分布，更新用梯度下降。

  与经典网络的初始化相同，初始化一个标准正态分布（即Xavier方法）。

• b

  省略掉该参数。

  在经典的神经网络里，b作为偏置，用于解决那些W无法通过与x相乘搞定的"损失减少要求"，即对于本层所有神经元的加权和进行各自的平移。而加入BN后，$\beta$的作用正是进行平移。b的作用被$\beta$所完全替代了，因此省略掉b。

  了解过ResNet结构的朋友会发现该网络中的卷积，都没有偏置，为什么？下面截图是Kaiming He在github上回答原话。（踩坑无数必须体会深刻）

​ 图5. BN的加入导致本层的偏置b失效

• $\mu$和$\sigma$

  初始化取决于统计量，仅更新梯度，但不更新值本身。

  在训练阶段，每个mini-batch上进行前向传播时，通过对本batch上的m个样本进行统计得到；
  在反向传播时，计算出它们的梯度$l$对$\mu$的梯度、$l$对$\sigma$的梯度，用于进行梯度传播。

  但是$\mu$和$\sigma$这两个值本身不必进行更新，因为在下一个mini-batch会计算自己的统计量，所以前一个mini-batch获得的$\mu$和$\sigma$没意义。

• $\gamma$和$\beta$

  初始化为1、0，更新用梯度下降。

  根据我们在《理解Batch Normalization系列1——原理》的解读，$\gamma$作为“准方差”，初始化为一个全1向量；而$\beta$作为"准均值”，初始化为一个全0向量，他俩的初始值对于刚刚完成标准正态化的$\hat{\vec{x}}$来说，没起任何作用。

  至于将要变成什么值，起多大作用，那就交给后续的训练。即采用梯度下降进行更新，方式同$W$。

2 评估阶段

$\gamma$、$\beta$是在整个训练集上训练出来的，与$W$一样，训练结束就可获得。

然而，$\mu$和$\sigma$是靠每一个mini-batch的统计得到，因为评估时只有一条样本，batch_size相当于是1，在只有1个向量的数据组上进行标准化后，成了一个全0向量，这可咋办？

2.1 来自训练集的均值和方差

做法是用训练集来估计总体均值$\mu$和总体标准差$\sigma$。

• 简单平均法

  把每个mini-batch的均值和方差都保存下来，然后训练完了求均值的均值，方差的均值即可。

• 移动指数平均（Exponential Moving Average）

  这是对均值的近似。

  仅以$\mu$举例：

$${\mu }_{total}=decay\ast {\mu }_{total}+(1-decay)\ast \mu$$

​ 其中decay是衰减系数。即总均值${\mu }_{total}$是前一个mini-batch统计的总均值和本次mini-batch的$\mu$加权求和。至于衰减率 decay在区间$[0,1]$之间，decay越接近1，结果${\mu }_{total}$越稳定，越受较远的大范围的样本影响；decay越接近0，结果 ${\mu }_{total}$越波动，越受较近的小范围的样本影响。

事实上，简单平均可能更好，简单平均本质上是平均权重，但是简单平均需要保存所有BN层在所有mini-batch上的均值向量和方差向量，如果训练数据量很大，会有较可观的存储代价。移动指数平均在实际的框架中更常见（例如tensorflow），可能的好处是EMA不需要存储每一个mini-batch的值，永远只保存着三个值：总统计值、本batch的统计值，decay系数。

在训练阶段同步获得了${\mu }_{total}$和${\sigma }_{total}$后，在评估时即可对样本进行BN操作。

2.2 评估阶段的计算

$$y=\gamma \frac{x-{\mu }_{total}}{\sqrt{{\sigma }_{total}^2}}+\beta$$

为避免分母不为0，增加一个非常小的常数$ϵ$，并为了计算优化，被转换为：
$$y=\frac{\gamma }{\sqrt{{\sigma }_{total}^2}+ϵ}x+(\beta -\frac{\gamma }{\sqrt{{\sigma }_{total}^2}+ϵ}{\mu }_{total})$$
这样，只要训练结束，$\frac{\gamma }{\sqrt{{\sigma }_{total}^2}+ϵ}、{\mu }_{total}、\beta$就已知了，1个BN层对一条测试样本的前向传播只是增加了一层线性计算而已。

3 总结

用图6做个总结。

​ 图6. BN层相关参数的学习方法

鬼斧神工的构造，鬼斧神工的参数获取方法，这么多鬼斧神工，需要好好消化消化。

请见下一期《理解Batch Normalization系列3——为什么有效及若干讨论》

参考文献

[1] https://arxiv.org/pdf/1502.03167v3.pdf

[2] https://r2rt.com/implementing-batch-normalization-in-tensorflow.html

[3] Adjusting for Dropout Variance in Batch Normalization and Weight Initialization

[4] https://www.jianshu.com/p/05f3e7ddf1e1

[5] https://www.youtube.com/watch?v=gYpoJMlgyXA&feature=youtu.be&list=PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlC&t=3078

[6] https://kratzert.github.io/2016/02/12/understanding-the-gradient-flow-through-the-batch-normalization-layer.html

[7] https://www.quora.com/In-deep-learning-networks-could-the-trick-of-dropout-be-replaced-entirely-by-batch-normalization

[8] https://panxiaoxie.cn/2018/07/28/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0-Batch-Normalization/

[9] https://www.tensorflow.org/api_docs/python/tf/layers/batch_normalization

[10] https://www.quora.com/In-deep-learning-networks-could-the-trick-of-dropout-be-replaced-entirely-by-batch-normalization

www.tensorflow.org/api_docs/python/tf/layers/batch_normalization

[10] https://www.quora.com/In-deep-learning-networks-could-the-trick-of-dropout-be-replaced-entirely-by-batch-normalization