批量归一化层BatchNorm

批量归一化（Batch Normalization，简称BatchNorm）是一种用于加速深度神经网络训练的技术。它通过标准化每一层的小批量输入数据来减轻内部协变量偏移（Internal Covariate Shift），从而提高训练速度和稳定性。批量归一化在神经网络中广泛应用，特别是在卷积神经网络（CNN）和全连接网络（FCN）中。

批量归一化的原理

批量归一化的基本思想是对每个小批量数据的每个特征进行标准化，使其具有零均值和单位方差，然后再进行线性变换。具体步骤如下：

1. 计算均值和方差：
   对于给定的输入小批量数据 $x$，计算每个特征的均值 $\mu$ 和方差 ${\sigma }^2$：
   $${\mu }_B=\frac{1}{m}\sum _{i=1}^m{x}_i$$
   σB2=1m∑i=1m(xi−μB)2 \sigma_B^2 = \frac{1}{m} \sum_{i=1}^m (x_i - \mu_B)^2 σB2​=m1​i=1∑m​(x<