使用可视化方法解决统计学习方法中支持向量机的例 7.2

例 7.2 训练数据与 例 7.1 相同。如图 7.4 所示，正实例点是 $x_1=(3,3{)}^T$，$x_2=(4,3{)}^T$，负例点是$x_3=(1,1{)}^T$，试用 算法 7.2 求线性可分支持向量机。

算法 7.2 （线性可分支持向量机学习算法）
输入：线性可分训练集
   $T=(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)$，其中$x_i\in \chi ={\mathbb{R}}^n$，$y_i\in Y=-1,+1$，$i=1,2,\cdots ,N$；
输出：分离超平面和分类决策函数。
（1）构造并求解约束最优化问题
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{a}_i{y}_j=0\\ & a_i⩾0,i=1,2,\cdots ,N\end{array}$$

求解最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$。
（2）计算
${\omega }^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i(1)$
并选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }>0$，计算
$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_j(x_i\cdot x_j)(2)$
（3）求得分离超平面
$${\omega }^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数：
$$f(x)=sign({\omega }^{\ast }\cdot x+b^{\ast })$$
在线性可分支持向量机中， 由式（1）、式（2）可知，$w^{\ast }$和$b^{\ast }$只依赖于训练数据中对应与${\alpha }_i^{\ast }>0$ 的样本点$(x_i,y_i)$，而其他样本点对$w^{\ast }$和$b^{\ast }$没有影响。我们将训练数据中对应于 ${\alpha }_i^{\ast }>0$ 的实例点$x_i\in {\mathbb{R}}^n$ 称为支持向量。

解
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & =\frac{1}{2}(18{\alpha }_1^2+25{\alpha }_2^2+2{\alpha }_3^2+42{\alpha }_1{\alpha }_2-12{\alpha }_1{\alpha }_3-14{\alpha }_2{\alpha }_3)-{\alpha }_1-{\alpha }_2-{\alpha }_3\\ & s.t.{\alpha }_1+{\alpha }_2-{\alpha }_3=0\\ & {\alpha }_i⩾0,i=1,2,3\end{array}$$

解这一最优化问题，将${\alpha }_3={\alpha }_1+{\alpha }_2$ 代入木变函数并记为
$$s({\alpha }_1,{\alpha }_2)=4{\alpha }_1^2+\frac{13}{2}{\alpha }_2^2+10{\alpha }_1{\alpha }_2-2{\alpha }_1-2{\alpha }_2$$

对${\alpha }_1,{\alpha }_2$求偏导数并令其为0，易知$s({\alpha }_1,{\alpha }_2)$ 在点$(\frac{3}{2},-1{)}^T$ 取极值，但该点不满足约束条件${\alpha }_2⩾0$，所以最小值应该在边界上达到。
  当${\alpha }_1=0$ 时，最小值$s(0,\frac{2}{13})=-\frac{2}{13}$；当${\alpha }_2=0$时，最小值$s(\frac{1}{4},0)=-\frac{1}{4}$，于是$s({\alpha }_1,{\alpha }_2)$ 在${\alpha }_1=\frac{1}{4},{\alpha }_2=0$达到最小，此时${\alpha }_3={\alpha }_1+{\alpha }_2=\frac{1}{4}$。
此处使用MATLAB画出目标函数的曲面以及最小值点，如下图所示：

可以看出红色的点对应的${\alpha }_2$值不满足${\alpha }_i⩾0$的约束条件，两个黑色的点分别为${\alpha }_1=0,{\alpha }_2=0$ 时与目标函数对于的曲面$s({\alpha }_1,{\alpha }_2)$相交的点。

可以得出${\alpha }_1^{\ast }={\alpha }_3^{\ast }=\frac{1}{4}$对应的实例点$x_1,x_3$是支持向量，根据式（1），式（2）计算可得
$${\omega }_1^{\ast }={\omega }_2^{\ast }=\frac{1}{2}$$
$$b^{\ast }=-2$$
分离超平面为
$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(}2)-2=0$$
分类决策函数为
$$f(X)=sign(\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2)$$

MATLAB可视化代码如下：

clc,clear

% 绘制曲面
x=linspace(-2,2,25);
y=linspace(-2,2,25);
[alpha1,alpha2]=meshgrid(x,y);
s=4*alpha1.^2+13/2*alpha2.^2+10*alpha1.*alpha2-2*alpha1-2*alpha2;
surf(alpha1,alpha2,s);
hold on

% 添加平面
% 添加竖线
[s,alpha2]=meshgrid(-20:0.1:100,-0.01:0.001:0.01);
alpha1=zeros(size(s))+2;
mesh(alpha1,alpha2,s,'FaceAlpha','0.9','EdgeColor',[0.9290 0.6940 0.1250]);
hold on
[s,alpha2]=meshgrid(-20:0.1:100,-0.01:0.001:0.01);
alpha1=zeros(size(s))-2;
mesh(alpha1,alpha2,s,'FaceAlpha','0.9','EdgeColor',[0.9290 0.6940 0.1250]);
hold on
[s,alpha1]=meshgrid(-20:0.1:100,-0.01:0.001:0.01);
alpha2=zeros(size(s))+2;
mesh(alpha1,alpha2,s,'FaceAlpha','0.9','EdgeColor',[0.4940 0.1840 0.5560]);
hold on
[s,alpha1]=meshgrid(-20:0.1:100,-0.01:0.001:0.01);
alpha2=zeros(size(s))-2;
mesh(alpha1,alpha2,s,'FaceAlpha','0.9','EdgeColor',[0.4940 0.1840 0.5560]);
hold on
% 添加横线
[alpha1,alpha2]=meshgrid(-2:0.1:2,-0.01:0.001:0.01);
s=zeros(size(alpha1))-20;
mesh(alpha1,alpha2,s,'FaceAlpha','0.9','EdgeColor',[0.9290 0.6940 0.1250]);
hold on
[alpha1,alpha2]=meshgrid(-2:0.1:2,-0.01:0.001:0.01);
s=zeros(size(alpha1))+100;
mesh(alpha1,alpha2,s,'FaceAlpha','0.9','EdgeColor',[0.9290 0.6940 0.1250]);
hold on
[alpha2,alpha1]=meshgrid(-2:0.1:2,-0.01:0.001:0.01);
s=zeros(size(alpha2))-20;
mesh(alpha1,alpha2,s,'FaceAlpha','0.01','EdgeColor',[0.4940 0.1840 0.5560]);
hold on
[alpha2,alpha1]=meshgrid(-2:0.1:2,-0.01:0.001:0.01);
s=zeros(size(alpha2))+100;
mesh(alpha1,alpha2,s,'FaceAlpha','0.01','EdgeColor',[0.4940 0.1840 0.5560]);
hold on

% 绘制点
Attribute_Set = {'LineWidth',1.5};
plot3(0,2/13,0,'.','MarkerSize',40,'Color','black');
plot3(1/4,0,0,'.','MarkerSize',40,'Color','black');
plot3(3/2,-1,0,'.','MarkerSize',40,'Color','red');

% 添加函数文本
text(-1.5,-0.25,120,'$s(\alpha_1,\alpha_2)=4\alpha_1^2+\frac{13}{2}\alpha_2^2+10\alpha_1\alpha_2-2\alpha_1-2\alpha_2$','interpreter','latex','FontSize',18);

% 添加坐标文本
text(-0.5,2/13,6,'$s(0,\frac{2}{13})=-\frac{2}{13}$','interpreter','latex','FontSize',18,'Color','black');
text(1/4,0,6,'$s(\frac{1}{4},0)=-\frac{1}{4}$','interpreter','latex','FontSize',18,'Color','black');
text(3/2,-1,6,'$s(\frac{3}{2},-1)=-\frac{1}{2}$','interpreter','latex','FontSize',18,'Color','red');

% 添加坐标轴标签
x1=xlabel('$\alpha_1$','interpreter','latex','FontSize',18); %x轴标题
x2=ylabel('$\alpha_2$','interpreter','latex','FontSize',18); %y轴标题
x3=zlabel('$s$','interpreter','latex','FontSize',18); %z轴标题
set(x1,'Position',[0.75,-3.5,0])
set(x2,'Position',[3,-1,0])
set(x3,'Position',[-2.3,-2,75])
set(x3,'Rotation',-8); %z轴名称旋转