Z-Score公式特性证明

Z-Score

在进行数据预处理时，我们常用Z-Score进行数据标准化（Standerlization），可以使得数据的均值为 0，标准差为 1，下面将对这一特性进行证明

Z-Score公式

假设我们有原始数据集X={X1,X2,⋯ ,Xn}X = \lbrace X_1,X_2, \cdots , X_n \rbraceX={X1​,X2​,⋯,Xn​}，
则样本均值为：
$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$
样本方差$s_X^2$为（使用 n−1 作为分母，即贝塞尔校正，这也是 Pandas std() 的默认行为）：
$$s_X^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$$
Z-Score描述了这样一种从原来的X={X1,X2,⋯ ,Xn}X = \lbrace X_1,X_2, \cdots , X_n \rbraceX={X1​,X2​,⋯,Xn​}数据集到新的数据集Z={Z1,Z2,⋯ ,Zn}Z=\lbrace Z_1,Z_2, \cdots , Z_n \rbraceZ={Z1​,Z2​,⋯,Zn​}的变换：
$$Z_i=\frac{X_i-\overline{X}}{s_X}$$
我们需要证明的就是：
$$\overline{Z}=0,s_Z=1$$

证明

根据均值公式：
$$\begin{array}{rl}\overline{Z}& =\frac{1}{n}\sum _{i=1}^n{Z}_i\\ & =\frac{1}{n}\sum _{i=1}^n\frac{X_i-\overline{X}}{s_X}\\ & =\frac{1}{n\cdot s_X}\sum _{i=1}^n(X_i-\overline{X})\\ & =\frac{1}{n\cdot s_X}(\sum _{i=1}^n{X}_i-\sum _{i=1}^n\overline{X})\\ & =\frac{1}{n\cdot s_X}\cdot 0\\ & =0\end{array}$$
$\overline{Z}=0$证明完毕
证明标准差为1即证明方差为1根据方差公式：
$$\begin{array}{rl}{s}_Z^2& =\frac{1}{n-1}\sum _{i=1}^n(Z_i-\overline{Z}{)}^2\\ & =\frac{1}{n-1}\sum _{i=1}^n(Z_i-0{)}^2\\ & =\frac{1}{n-1}\sum _{i=1}^n{Z}_i^2\\ & =\frac{1}{n-1}\sum _{i=1}^n(\frac{X_i-\overline{X}}{s_X}{)}^2\\ & =\frac{1}{(n-1)\cdot (s_X{)}^2}\sum _{i=1}^n(X_i-\overline{X}{)}^2\\ & =\frac{1}{s_X^2}\cdot \frac{1}{(n-1)}\sum _{i=1}^n(X_i-\overline{X}{)}^2\\ & =\frac{1}{s_X^2}\cdot s_X^2\\ & =1\end{array}$$
因此，$s_Z^2=1$ 证明完毕

实现

在python中，实现Z-Score非常简单，下面用一个简单的匿名函数实现：

lambda x : (x - x.mean()) / (x.std())