主成分分析PCA:Principal Component Analysis & 线性判别分析 LDA: Linear Discriminant Analysis

0926

1.直观理解

2.主成分分析PCA:Principal Component Analysis

欢迎评论指正错误

1.训练样本集中化

1.训练样本

2.用x0来表示训练样本，就是x0和所有训练样本的欧氏距离之和最小
3.那么x0就是训练样本的均值

4.定义X矩阵
5.集中训练样本 = 训练样本 - 均值

2.想用一个维度来表示所有的训练样本

1.用1维ai来表示一个训练样本xi

2.通过乘以一个平方和等于1的phi

3.由式子2.1可推，想用ai phi来表示xi，所以要让它们之间的误差最小
4.误差展开

3.最小化误差

1.所有训练数据的样本协方差：定义式
2.由于样本不变，所以要最小化误差，就要最大化被减数

3.由于受到等式2.2限制，所以使用拉格朗日乘数法，求最大化被减数，St当常数，xTx求导当x^2求导。最后结果相当于求St的特征值和特征向量

4.最大化特征向量

1.用矩阵转置的性质，（AB）^T = B^T * A^T，以及St定义是写出第一个等式，由于式子2.1写出第二个等式
2.由于式子3.3写出其最终等于特征向量

5.重新构建

1.将n维的数据xi，变为n维的数据yi

2.St的m个最大特征值，所对应的，特征向量，组成phi
3.可以用yi重新构建xi

4.重新构建后的误差是最小的

6.PCA

1.n维变为m维
2.m个特征向量

3.重构误差

4.重构误差的均方 = 没有参加Phi的特征值求和 ，λk是按降序排序的特征值

7.相关性质：St的秩、零重构误差与对称矩阵

1.协方差矩阵定义
2.协方差矩阵的秩，由于零均值操作本质上消耗了一个维度，所以q-1，然后样本数量q-1和维数n相互制约
3.重构误差为零：因为q-1足够数量的特征向量可以无损表示原维度函数

4.由于cov（x ，y）=cov（y,x）所以转置等于自身，所以是对称矩阵

8.对称矩阵的特征向量正交且具有单位长度

1.Σ特征值和特征向量的数学定义
2.Σ对称，则不同特征值λ1， λ2的特征向量是正交（内积为0），并且具有单位长度（内积为1）

9.推广

1.Phi特征向量构成的标准正交矩阵

2.标准正交矩阵性质，8.4推导出来
3.对角阵

4.求特征向量的定义式
5.推广

10.图像解释

1.协方差矩阵，化为标准正交矩阵与对角阵
2.图像：标准正交矩阵
3.推导

11.总结PCA

1.trace ：矩阵的迹是其对角线元素之和，求矩阵的迹最大

2. 线性判别分析 LDA: Linear Discriminant Analysis

1.相关数学定义

1.训练数据

2.类ω的协方差矩阵：定义式
3.类内均值：定义式

4.类内散点矩阵：定义式

5.类间散点矩阵：定义式

2.LDA

1.PCA: 最大化总体散点矩阵；LDA：最小化类内散点矩阵，最大化类间散点矩阵，所以用逆矩阵
2.定义式

3.LDA

2.问题与解决：Sw是奇异矩阵，没有逆矩阵，无法使用LDA

1.Sw的秩，q是训练样本的数目，c是类的数目，n是训练样本的维数
2.现实情况，会导致Sw是奇异矩阵，没有逆矩阵

3.解决：Fisher Face
用PCA减少无关的维度
然后满秩
可以用LDA了