感知机

简介

感知机是二分类的线性分类模型，在特征空间中将实例划分为正负两类的分离超平面，属于判别式模型。

模型

假设输入空间是$x\subseteq R$，输出空间是Y={−1,+1}Y=\lbrace-1,+1\rbraceY={−1,+1}。由输入空间到输出空间的如下函数：
$$f(x)=sign(wx+b)$$
$$sign(x)=1,x>=0$$
$$sign(x)=-1,x<0$$
线性方程$wx+b=0$对应于输入空间的一个超平面$s$，其中$w$是其法向量，$b$是截距。这个超平面将空间划分为正负2个部分。

损失函数的一个自然选择是误分类点的总数，但是这样的损失函数不是参数$w$，$b$的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面$s$的总距离。
推导：点$x_0$到超平面$s$距离$d$
设$x_0$在平面$s$上的投影为$x_1$，则$w\ast x1+b=0$
由于向量$\overrightarrow{x_0{x}_1}$与法向量$w$平行，所以
$$|w\ast \overrightarrow{x_0{x}_1}|=|w||\overrightarrow{x_0{x}_1}|=\sqrt{{w_1}^2+{w_2}^2+...+{w_n}^2}\ast d=||w||d$$
又因为$$w\ast \overrightarrow{x_0{x}_1}=w_1({x_0}^1-{x_1}^1)+w_2({x_0}^2-{x_1}^2)+...+w_N({x_0}^N-{x_1}^N)$$
$$=w_1{x_0}^1+w_2{x_0}^2+...+w_N{x_0}^N-(w_1{x_0}^1+w_2{x_1}^2+...+w_N{x_1}^N)$$
$$=w_1{x_0}^1+w_2{x_0}^2+...+w_N{x_0}^N+b=|w{x}_0+b|$$
所以
$$||w||d=|w{x}_0+b|$$
$$d=\frac{1}{||w||}|w{x}_0+b|$$
其次对于误分类数据$(x_i,y_i)$来说，$-y_i(w{x}_i+b)>0$，到超平面$s$的距离为$-\frac{1}{||w||}{y}_i(w{x}_i+b)$，假设误分类点集合为M，那么所有误分类点到$s$的总距离为：$-\frac{1}{||w||}{\sum }_{x_i\in M}{y}_i(w{x}_i+b)$，在这里不考虑$\frac{1}{||w||}$，可以得到损失函数：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w{x}_i+b)$$
显然，损失函数是$w$,$b$的连续可导函数。因为如果没有误分类点，损失函数值是0，而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。

算法

采用随机梯度下降法来解决$minL(w,b)$。
首先任意选取一个超平面$w_0,b_0$，然后用梯度下降法不断地极小化目标函数。极小化过程中不是一次使$M$中所有误分类点的梯度下降，而是一次随机采取一个误分类点使其梯度下降。
损失函数的梯度：${\nabla }_{w}L(w,b)=-{\sum }_{x_i\in M}{y}_i{x}_i$，${\nabla }_{w}L(w,b)=-{\sum }_{x_i\in M}{y}_i$

具体算法：
输入：训练数据集$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$，其中x∈RN,y∈{−1,+1}x\in{R^N}, y\in{\{-1,+1\}}x∈RN,y∈{−1,+1}，学习率$\eta$
输出：$w,b$；感知机模型$f(x)=sign(wx+b)$
step1. 选取初值$w_0,b_0$
step2. 在训练集中选取数据$(x_i,y_i)$
step3. 如果$y_i(w{x}_i+b)<0$，更新：
$$w\leftarrow w+\eta y_i{x}_i$$
$$b\leftarrow b+\eta y_i$$
step4. 转至step2，直至训练集中没有误分类点
直观解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整$w,b$的值，使分离超平面越过该误分类点，使其被正确分类。

参考文献

《统计学习方法》 李航