初级算法梳理(一）——机器学习综述

机器学习概述

1.机器学习分类

1.1 监督学习：

利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。监督学习的训练集要求包括输入和输出，主要应用于分类和预测。

1.2 非监督学习：

从数据集中发现隐含的某种结构，获得样本数据的结构特征，判断哪些数据比较相似。

1.3半监督学习

监督学习和非监督学习的结合，其在训练阶段使用的是未标记的数据和已标记的数据，不仅要学习属性之间的结构关系，也要输出分类模型进行预测。

1.4 强化学习：

强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

2.机器学习算法

2.1 线性算法（Linear Algorithms）：

线性回归（Linear Regression）、套索回归（Lasso Regression）、岭回归（Ridge Regression）、逻辑回归（Logistic Regression）

2.2 决策树（Decision Tree）：

ID3、C4.5、CART

2.3 支持向量机（SVM）

2.4 朴素贝叶斯算法（Naive Bayes Algorithms）：

朴素贝叶斯（Naive Bayes）、高斯朴素贝叶斯（Gaussian Naive Bayes）、多项式朴素贝叶斯（Multinomial Naive Bayes）、信念网络（Bayesian Belief Network,BBN）、贝叶斯网络（Bayesian Network ,BN）

2.5 k最近邻分类算法（kNN）

2.6 聚类算法（Clustering Algorithms）：

k-Means、k-Medians、期望最大化算法（Expectation Maximisation ,EM）、层次聚类（Hierarchical Clustering）

2.7 随机森林（Random Forest）

2.8 降维算法（Dimensionality Reduction Algorithms）

2.9 梯度提升算法（Gradient Boosting algorithms）

GBM、XGBoost、LightGBM、CatBoost

2.10 深度学习算法（Deep Learning Algorithms）：

卷积神经网络（Convolutional Neural Network ,CNN）、循环神经网络（Recurrent Neural Networks ,RNNs）、长短期记忆网络（Long Short-Term Memory Networks ,LSTMs）、栈式自动编码器（Stacked Auto-Encoders）、深度玻尔兹曼机（Deep Boltzmann Machine ,DBM）、深度信念网络（Deep Belief Networks ,DBN）

3.机器学习损失函数

3.1 0-1损失函数

0-1损失函数又是也可以放宽条件，满足 |Y−f(X)|<T时认为相等，即：

3.2 绝对值损失函数

3.3 平方损失函数

对数损失函数

4.机器学习优化方法