SVM线性分类推导

1. 原始问题

与感知机相似，SVM通过分类超平面划分数据集，分类超平面形式为：

但感知机中分类超平面是不唯一的，SVM以间隔最大为依据可以唯一确定最优分类超平面，其中函数间隔定义为：

然而当参数w和b成比例变化时，虽然分类超平面没有变化，但函数间隔却变化了，故又提出了几何间隔：

即使w和b成比例变化，几何间隔也不会改变，故不会出现多个间隔对应同一分类超平面的情况，可用作分类依据。
求解最大间隔分类超平面过程如下：

在同一个分类超平面上，w和b的同比例变化并不会影响不等式约束，故可固定函数间隔为1，则上述过程可等价为如下凸二次规划问题：

从而求得最优解w和b得到最优超平面，其中支持向量为满足下式的实例点：

仅有支持向量对决定最优分类超平面起作用。

2. 对偶问题

再具体求解时可将如上原始问题转换为对偶问题便于求解，对偶问题形式如下：

推导过程为：
根据原始问题构建拉格朗日方程为：

具体问题即可转化为求解对偶问题

首先求解最小问题，对w和b进行偏导计算后可得

将其回代到拉格朗日方程可得

从而得到对偶形式，并可求得最优参数w和b的表达式为：

支持向量即是满足拉格朗日因子a>0的实例点。