机器学习-支持向量机 -- 软间隔SVM和非线性SVM

上篇文章讲了硬间隔SVM，利用间隔最大化求最优超平面和决策函数

-Q:现实中, 很难找到一个超平面使得训练样本在特征空间中线性可分; 同时一个线性可分的结果也很难断定是否是有过拟合造成的.

-A:引入”软间隔”的概念, 允许支持向量机在一些样本上不满足约束.

一、软间隔SVM

1. 松弛变量

2. 软间隔SVM模型

3. 使用对偶求解

4. 软间隔SVM算法

5. 软间隔支持向量

6. 合页损失函数

二、非线性SVM（Nonlinear SVM and kernels）

1. 解决思路：

2. 核函数

3. 非线性支持向量机算法

4. 非线性SVM例题

5. 核函数的选择

一、软间隔SVM

 支持向量机的一般思想是:使超平面与每个类的最近实例之间的距离最大。

 在大多数情况下，训练集是不可分离的，不等式约束是不满足的。一般来说，训练集中存在一些异常值。这些数据点叫做奇异点。

   对于很难找到找平面合理分开数据集的情况, 如果数据不是线性可分的（含有噪声点）怎么办?因此引入了软间隔SVM，对这些样本引入松弛变量，对这些数据点进行变化，从而使他们可分。

1. 松弛变量

训练集T（线性不可分数据集）

支持向量机可以忽略异常值，找到具有最大边界的超平面。因此，SVM对异常值具有较强的鲁棒性。

C：叫做惩罚参数，用来平稳正则项和误差项，若C小，则对误分类的惩罚小。

两层含义：让间隔尽量大，让误差尽量小

从而建立原始软间隔SVM的模型：

2. 软间隔SVM模型

是线性不可分的SVM

假设他的解最优超平面为 w* x + b* = 0

这个模型包含上篇文章的模型，使用更广泛

这实质也是一个凸二次规划问题（求解可以使用对偶问题）

那么如何求解该问题？

3. 使用对偶求解

使用拉格朗日函数，对于每个约束条件引入一个松弛变量（分别是a和u）

注意：变量的系数为负（对应约束条件的g(x)<0是正号）

使用对偶问题求解的思路：求拉格朗日函数--求导