本文介绍了BatchNormalization和LayerNormalization两种归一化技术。BatchNorm主要处理一批样本的同一维度特征，适合数据流稳定的场景；而LayerNorm则针对单个样本的所有维度，尤其适用于序列长度不一致的情况，如RNN中。
文章目录
1. 说明
Batch Normalization 的处理对象是对一批样本， Layer Normalization 的处理对象是单个样本。Batch Normalization 是对这批样本的同一维度特征做归一化， Layer Normalization 是对这单个样本的所有维度特征做归一化
2. 长度不一致问题
当单个样本的长度不一致时，就需要用到layerNorm
如上图所示，当样本1,2，3之间出现长度不同的时候，我们就得用LayerNorm来处理这个问题了。
3. 方差
方差分为两种
- 样本方差: 除以n-1表示的样本方差，是对总体方差的无偏估计
S 2 = 1 n − 1 ∑ i = 1 n ( x i − μ ) 2 \begin{equation} S^2 = \frac{1}{n-1}\sum_{i=1}^n(x_i-\mu)^2 \end{equation} S2=n−11i=1∑n(xi−μ)2 - 总体方差: 除以n表示的总体方差，是有偏估计
σ 2 = 1 n ∑ i = 1 n ( x i − μ ) 2 \begin{equation} \sigma^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2 \end{equation} σ2=n1i=1∑n(xi−μ)2 - torch.var - 默认为样本方差，为无偏估计，如果要做总体方差，那么需要设置unbias=False
- 举例：假设有一个张量x 表示如下
x = [ 0 , 1 , 2 , 3 , 4 ] \begin{equation} x=[0,1,2,3,4] \end{equation} x=[0,
扫一扫
4465
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
