支持向量机松弛变量的理解

首先要清楚：
1，线性可分，即能找到超平面，对于硬间隔支持向量机
2，部分点不可分，总体近似可分，近似线性可分，对应软间隔支持向量机
3，线性不可分，需要用到核函数

软间隔支持向量机要加个松弛变量ξ。
我们都知道，硬间隔满足，yi * ( wi * x + b )≥1，这是函数间隔，是几何间隔的||w|| 倍。
由于一些点出现在两条线的间隔内部，函数间隔的约束条件不满足，所以引入松弛变量ξ，使yi * ( wi * x + b ) + ξ ≥1，即：yi * ( wi * x + b ) ≥1 - ξ。对于这些离群点有对应的松弛变量，其他的点是没有松弛变量ξ的。

再来另外一个解释：

1，函数距离与几何距离

你需要明白两个概念，函数距离（函数间隔）和几何距离（几何间隔），先看个图：

平行直线1与2之间的垂直距离d，就是几何距离，也就是我们平常计算的两条平行直线之间的距离。函数间隔，就是图中的d帽（暂时这么称呼）：

它是两条平行直线在某一条轴线（例如x轴）上的距离。在二维平面，它是竖着的，如图中的蓝色线标注，也可以是横着的，图中未画出。
函数距离和几何距离之间有关系，在本例中为：

||w||是矩阵w的模
在本例中，函数距离（d帽）就是直线1减去直线2的距