机器学习——马氏距离

前言

在介绍马氏距离之前，我们首先看如下概念：

• 方差：方差是标准差的平方，而标准差的意义是数据集中各个点到均值点距离的平均值。反应的是数据的离散程度
• 协方差：标准差与方差是描述一维数据的，当存在多维数据时，我们通常需要知道每个维数的变量中间是否存在关联。**协方差就是衡量多维数据集中，变量之间相关性的统计量。**比如说，一个人的身高与他的体重的关系，这就需要用协方差来衡量。如果两个变量之间的协方差为正值，则这两个变量之间存在正相关，若为负值，则为负相关。
• 协方差矩阵：当变量多了，超过两个变量了。那么，就用协方差矩阵来衡量这么多变量之间的相关性。假设X是以n个随机变数组成的列向量：
  $$X=\left[\begin{array}{l}{X}_1\\ X_2\\ ...\\ X_n\end{array}\right]$$
  其中，${\mu }_i$是第i个元素的期望值，即${\mu }_i=E(X_i)$。协方差矩阵$\Sigma$的第i,j项被定义为如下形式：
  ∑ i j = c o v ( X i , X j ) = E [ ( X i − μ i ) ( X j − μ j ) ] \sum_{ij}=cov(X_i,X_j)=E[(X_i-\mu_i)(X_j-\mu_j)] ij∑​=cov(Xi​,Xj​)=E[(Xi​−μi​)(X