spark机器学习算法研究

spark提供了一个机器学习库，spark ml包，可以在spark中直接引入使用

import org.apache.spark.ml.clustering.{KMeans,KMeansModel}
import org.apache.spark.ml.linalg.Vectors

1. 常用聚类算法

k-means 算法
GMM 高斯混合模型
PIC 快速迭代聚类
LDA 隐式狄利克雷分布
二分k-means算法
流式k-means算法

2. 常用分类算法

决策树
朴素贝叶斯分类

3. 常用降维算法

EVD 特征值分解

4. 什么时候用聚类，什么时候用分类

分类是把数据划分到已经定义好的类别中，输出的是离散的类别，是一种有指导的学习；
聚类最主要的功能是降维到，根据文本的相似度归类，把相似的聚在一起，简单讲，就是“物以类聚，归类化简”。

聚类适用于大样本数据，杂乱数据简单化，归类。