深度学习：归一化和去均值化

归一化
进行归一化的原因是把各个特征的尺度控制在相同的范围内，这样可以便于找到最优解，不进行归一化时如左图，进行归一化后如右图，可发现能提高收敛效率，省事多了。
　　　　　　　　　　　　　　　　 　　
一种是最值归一化，比如把最大值归一化成1，最小值归一化成-1；或把最大值归一化成1，最小值归一化成0。适用于本来就分布在有限范围内的数据。
另一种是均值方差归一化，一般是把均值归一化成0，方差归一化成1。适用于分布没有明显边界的情况。

标准化（归一化）优点及其方法
标准化（归一化）两个优点：
1）归一化后加快了梯度下降求最优解的速度；
2）归一化有可能提高精度。

标准化（归一化）两种方法：
1）min-max标准化（Min-MaxNormalization）:
　　也称为离差标准化，是对原始数据的线性变换，使结果值映射到 [0 - 1] 之间。转换函数如下：
　　　　　　　　　　　　　　　　
其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

2）Z-score标准化（0-1标准化）方法
　　这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1。转化函数为：
　　　　　　　　　　　　　　　　
其中μ为所有样本