机器学习笔记（3）ML在应用上的优缺点

最近找到一本ML实战应用的资料很是不错，记下了很多东西，整理后一次性发布。先占个位，防止自己又鸽掉（狗头）

比如SVM的优点听起来有点玄幻：因为SVM理论保证太充足了，这个模型直接拿过来用，不调参效果都比较好。

NN目前的使用缺点：1大量的精力去调参：同样的算法与数据，得到同样的结果较难。2模型复杂度固定，但我们在进行一个任务之前是不可能知晓这个任务的复杂度的，所以只能边做边进行模型简化，最近很多DNN的论文都是关于模型压缩、模型简化和轻量级网络。从本质上DNN不能做到对任务复杂度的自适应（也就是说不能随着训练过程提升算法的复杂度）的原因是，一旦模型不是确定的，BP算法求梯度的对象就是不确定的，除非不使用BP算法。3其实目前应用比较成熟的任务中的数据类型无外乎图像、视频、语音三方面，但现实任务中的数据类型远不止于此，而在这里问题上，随机森林或XGBoost表现更好

深度森林：不基于NN，模型复杂度根据数据调整，超参数比较少，除图像视频语音外其他类型数据上表现已经接近和超越DNN

AdaBoost:优点：泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整  缺点：对离群点敏感 适用数据类型：数值型数据以及标称型数据  另外还有集成学习（ensemble method）或元算法（meta-algorithm）的优点：将若学习器训练为强学习器