机器学习_支持向量机SVM

线性可分SVM

存在一个线可以把数据分类，数据就是线性可分的。
SVM是有分割超平面两边的一些样本作为支撑点做出的支撑向量。

分割超平面
设C，D为不相交的凸集，则存在超平面P,将C，D分离。

如何选择最优超平面？（间隔最大化）
(w1²+w2²+…+wn²)^0.5 = ||w|| (w的二范式)
直到任意点和直线，可以求出点到直线的距离：
d(xi,l) = (wx + b) / ||w|| (注：w,x为向量）
因此我们可以计算出所有点到所有可以把数据分类的超平面（二维体现为直线）的距离，选择距离直线最近距离最远的直线（超平面）就是最优超平面。
wb* = arg max(min((w*x + b) / ||w||)
得到分离超平面为:（y=0,就是分割超平面）

其中x的函数为某个确定的特征空间转换函数，作用是将x映射到（更高的）维度（将x1,x2,x3映射为1,x1,x2,x3,x1²,x2²,x3²,x1x2,x1x3,x2x3; 可以由使用模型的人确认使用二阶还是三阶等)
（分离超平面问题可以等价为求解相应的（因为是凹函数）凸二次规划问题）

推导目标函数

原目标函数：

可以通过等比缩放w^T的方法使|y|>=1，w^T选择使过度带距离为1（min的部分为1），则目标函数为为：
max(1/||w||) 相当于 min(||w||)
相当于 min(1/2 * ||w||²)

n为样本个数
带约束条件的极值问题----->拉格朗日乘子法得到如下方程式：（αi&