机器学习 02 降维

一、降维

机器学习分为监督学习、无监督学习和半监督学习(强化学习)

1.1 有监督学习

Supervised Learning对具有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行标记预测。 

监督学习：  分类、回归      有标签

决策树、KNN、SVM、Native Bayes朴素贝叶斯算法、CNN、线性回归(Linear Regression)

逻辑回归(Logistic Regression)、决策树和随机森林（Decision Tree and Random Forests）

神经网络（Neural networks）

1.2 无监督学习

Unsupervised Learning 对没有标记的训练样本进行学习，以发现训练样本集中的结构性知识。 

无监督学习最常应用的场景是聚类(clustering)和降维(dimension reduction)。

聚类：

K均值聚类(K-Means)、层次聚类(Hierarchical Clustering)、混合高斯模型(Gaussian Mixture Model)、谱聚类、DBSCAN基于密度的聚类算法、模糊聚类

降维：是指在某些限定条件下，降低随机变量(特征)个数，得到一组特征与特征之间不相关的过程。

主成因分析(Principal Component Analysis)、核主成分分析（kernel PCA）、线性判别分析(Linear Discriminant Analysis)、 t-SNE、MDS 、Expectation Maximization

二、降维

2.1 特征选择

数据中包含冗余或相关变量 (或称特征、属性、指标等)，旨在从原有特征中找出主要特征

2.1.1 方法

Filter(过滤式) 

主要探究特征本身特点、特征与特征和目标值之间关联。

方差选择法: 低方差特征过滤
删除低方差的一些特征，前面讲过方差的意义。再结合方差的大小来考虑这个方式的角度。

特征方差小: 某个特征大多样本的值比较相近

特征方差大: 某个特征很多样本的值都有差别

相关系数：

皮尔逊相关系数(Pearson Correlation Coefficient), 反映变量之间相关关系密切程度的统计指标

Embedded(嵌入式)

算法自动选择特征(特征与目标值之间的关联)
决策树:信息熵、信息增益
正则化: L1、L2
深度学习:卷积等

2.2 主成分分析

定义:高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量
作用:是数据维数压缩，尽可能降低原数据的维数 (复杂度)，损失少量信息。
应用:回归分析或者聚类分析当中

水壶的图片是从三维降到二维：

案例: 假设对于给定5个点，数据如下

如果用y=0表示的话，那么损失了三个点：

找到一个合适的直线，通过一个矩阵运算得出主成分分析的结果