特征提取——主成分分析PCA（K-L变换）及几何解释

在模式识别中接触到K-L变换的时候懵懵懂懂的，只知道是特征选择，不知道究竟怎么用，后来做图像处理需要用到PCA，才发现和K-L变换时一伙的，再好好做做功课，把他们整理整理。

预备知识：

维度灾难：对于一组已知的样本，存在特征数目的最大维数当使用的特征数目超过这个最大值时，分类器的性能不但不能得到改善反而会退化。

为了避免维度灾难需要进行特征降维

进行特征降维的两类方法：特征选择( Feature Selection )和特征提取（Feature Extraction）。

特征选择：也称特征子集选择( Feature Subset Selection , FSS )，选择全部特征的一个子集作为特征向量。