Andrew Ng - SVM【2】一步步迈向核函数——拉格朗日、原问题与对偶问题

Andrew Ng - SVM【2】一步步迈向核函数

---

1. 拉格朗日对偶规划

暂且撇开SVM和最大间隔分类器不管（当然不是真的不管），我们先来讨论一个在一定约束条件下的优化问题：

$$\begin{aligned} &min_\omega\quad f(\omega) \\ & s.t.\quad h_i(\omega)=0,\quad i=1,...,l \end{aligned}$$

则该问题对应的拉格朗日函数为：

$\mathcal{L}(\omega,\beta)=f(\omega)+\sum_{i=1}^l\beta_ih_i(\omega)$

$\beta_i$我们叫做拉格朗日乘数，接着我们令$\mathcal{L}$偏导为零：

$\frac{\partial\mathcal{L}}{\partial \omega_i}=0;\quad\frac{\partial\mathcal{L}}{\partial \beta_i}=0,$

便可以求出$\omega$和$\beta$。
对于更一般化的约束问题，除了等式约束条件以外，我们还要加入不等式约束条件，称之为原问题，表达式如下：

$$\begin{aligned} &min_\omega\quad f(\omega) \\ & s.t.\quad g_i(\omega)\leq0,\quad i=1,...,k\\ & \ \ \ \quad\quad h_i(\omega)=0,\quad i=1,...,l \end{aligned}$$

该问题对应的拉格朗日函数为：

$\mathcal{L}(\omega,\alpha,\beta)=f(\omega)+\sum_{i=1}^k\alpha_ig_i(\omega)+\sum_{i=1}^l\beta_ih_i(\omega)$

$\alpha_i$和$\beta_i$我们叫做拉格朗日乘数，假设有如下等式：

$\theta_\mathcal{P}(\omega)=\max_{\alpha,\beta:\alpha_i\geq0}\mathcal{L}(\omega,\alpha,\beta).$

这里下标$\mathcal{P}$用来指代原优化问题。给定一些$\omega$，如果$\omega$违反了拉格朗日的任意约束条件（存在$g_i(\omega)>0$或者$h_i(\omega)\ne0$），$\theta_\mathcal{P}(\omega)=\infty$；相反，如果所有约束条件满足，则$\theta_\mathcal{P}(\omega)=f(\omega)$。因此：

$\theta_\mathcal{P}(\omega)= \begin{equation}\begin{cases} f(\omega) &\mbox{$\omega$符合约束条件}\\ \infty &\mbox{其他.} \end{cases} \end{equation}$

所以当我们需要最小化（为什么是最小化？后边会有答案）$\theta_\mathcal{P}(\omega)$的时候，即：

$\min_w\theta_\mathcal{P}(\omega)=\min_w\max_{\alpha,\beta:\alpha_i\geq0}\mathcal{L}(\omega,\alpha,\beta).$

为什么要最小化呢，因为最小化$\theta_\mathcal{P}(\omega)$是我们的原问题（如果你还记得$\min_\omega f(\omega)$）。为了方便后边的使用，我们这里令$\mathcal{p}^*=\min_w\theta_\mathcal{P}(\omega)$，并称之为原优化问题。
然后我们来看另一个问题，定义：

$\theta_\mathcal{D}(\alpha,\beta)=\min_{\omega}\mathcal{L}(\omega,\alpha,\beta).$

在原优化问题中，我们求的是$\alpha,\beta$为参函数的最大值，而在对偶问题（见上式）中，我们是对以$\omega$为参的式子求最小值，其对应的对偶优化问题为：

$\max_{\alpha,\beta:\alpha_i\geq0}\theta_\mathcal{D}(\alpha,\beta)=\max_{\alpha,\beta:\alpha_i\geq0}\min_{\omega}\mathcal{L}(\omega,\alpha,\beta).$

很明显除了$min$和$max$的顺序之外，原优化问题和对偶优化问题长得是一模一样。对于对偶优化问题，我们定义$\mathcal{d}^*=\max_{\alpha,\beta:\alpha_i\geq0}\theta_\mathcal{D}(\omega)$。到这一步，大家肯定都很奇怪我们上边做了那么多是为了什么，$\mathcal{d}^*$和$\mathcal{p}^*$有关系吗？下边就是关系！

$\mathcal{d}^*=\max_{\alpha,\beta:\alpha_i\geq0}\min_{\omega}\mathcal{L}(\omega,\alpha,\beta)\leq\min_w\max_{\alpha,\beta:\alpha_i\geq0}\mathcal{L}(\omega,\alpha,\beta)=\mathcal{p}^*.$

而且，在一些特定的条件（KKT条件，这个可以参见凸优化问题的相关资料自行了解）下，我们甚至可以得到$\mathcal{d}^*=\mathcal{p}^*$，所以我们可以将求解原优化问题转化为求解对偶优化问题。

2. KKT条件

假设$\mathcal{f}$和$\mathcal{g}_i$都是凸函数，$\mathcal{h}_i$是仿射函数，进一步假设$\mathcal{g}_i$是可执行的；也就是存在$\omega$使所有的$\mathcal{g}_i<0$。在上述假设都满足的情况下，必然会有一些奇葩的事情要发生。$\omega^*$为原最优问题的解；$\alpha^*,\beta^*$为对偶优化问题的解；而且$\mathcal{p}^*=\mathcal{d}^*=\mathcal{L}(\omega^*,\alpha^*,\beta^*)$；而且$\omega^*,\alpha^*,\beta^*$满足Karush-Kuhn-Tucker(KKT)条件：

$$\begin{aligned} & \frac{\partial\mathcal{L}(\omega^*,\alpha^*,\beta^*)}{\partial \omega_i}=0, \quad i=1,...,n\\ & \frac{\partial\mathcal{L}(\omega^*,\alpha^*,\beta^*)}{\partial \beta_i}=0, \quad i=1,...,l\\ & \color{red}{\quad\qquad \alpha_i^*g_i(\omega^*)=0,\quad i=1,...,k}\\ & \qquad\qquad g_i(\omega^*)\leq0,\quad i=1,...,k\\ & \ \ \ \qquad\qquad\quad \alpha^*\geq0,\quad i=1,...,k \end{aligned}$$

如果$\omega^*,\alpha^*,\beta^*$满足KKT，那么$\omega^*,\alpha^*,\beta^*$为原优化问题和对偶优化问题的解。注意标红的条件我们称之为KKT对偶互补条件，其告诉我们，如果$\alpha_i^*>0$，则$g_i(\omega)=0$，这个点将是我们稍后认识SVM中支撑向量的钥匙；也是之后SMO算法在收敛测试时的一个重要条件。

3. 最优间隔分类器

在前面的篇幅中，为了寻找最优间隔分类器，我们提出了如下的原优化问题：

$$\begin{aligned} &min_{\gamma,\omega,b}\quad\frac{1}{2}||\omega||^2 \\ & s.t.\quad y^{(i)}(\omega^Tx^{(i)}+b)\geq1,\quad i=1,...,m \end{aligned}$$

为了描述问题，我们把约束条件改写一下：

$g_i(\omega)= -y^{(i)}(\omega^Tx^{(i)}+b)+1\leq0$

在讨论KKT互补条件的时候，我们说过只有在$g_i(\omega)=0$（即函数间隔为1）的时候$\alpha_i>0$，那么看下图：



实线是最大间隔分割超平面。而有最小间隔的点应该是离超平面最近的点（函数间隔为1）；这样的点图上有三个（画圈的）。所以只有这三个点对应的$g_i(\omega)=0$，相应的，也只有这三个点对应的$\alpha_i>0$，我们称这样的点为支撑向量（实际上就是落在函数间隔为1的超平面上的样本点）。由图上清晰可见支撑向量的数量相对于整个训练集实际上是很少的。
引入点积$\langle x^{(i)},x^{(j)}\rangle$,即$(x^{(i)})^Tx^{(j)}$的另一种写法，因为这种写法将让我们认识到什么叫做核方法！mark一下。然后构建优化问题的拉格朗日函数：

$\mathcal{L}(\omega,b,\alpha)=\frac{1}{2}||\omega||^2-\sum_{i=1}^m\alpha_i[y^{(i)}((\omega)^Tx^{(i)}+b)-1]$

因为优化问题中只有不等式约束条件，所以拉格朗日函数中只有$\alpha_i$而没有$\beta_i$。那么该问题的对偶形式是什么呢？为给出对偶形式，我们先关于$\omega$和$b$最小化$\mathcal{L}(\omega,b,\alpha)$，即先关于$\omega$求$\mathcal{L}$的偏导：

$\nabla_\omega\mathcal{L}(\omega,b,\alpha)=\omega-\sum_{i=1}^m\alpha_iy^{(i)}x^{(i)}=0$

由此可以得出：

$\color{green}{\omega=\sum_{i=1}^m\alpha_iy^{(i)}x^{(i)}}$

再关于$b$求$\mathcal{L}$的偏导：

$\frac{\partial\mathcal{L}(\omega,b,\alpha)}{\partial b}=\sum_{i=1}^m\alpha_iy^{(i)}=0$

将得到的$\omega$的等式带回原问题并化简，我们可以得到原问题的对偶优化问题：

$$\begin{aligned} & \max_\alpha\quad W(\alpha)=\sum_{i=1}^m\alpha_i-\frac{1}{2}\sum_{i,j=1}^my^{(i)}y^{(j)}\alpha^{(i)}\alpha^{(j)}\langle x^{(i)},x^{(j)}\rangle. \\ & \ s.t.\quad \alpha_i\geq0,\quad i=1,...,m\\ & \ \ \ \qquad\sum_{i=1}^m\alpha_iy^{(i)}=0 \end{aligned}$$

实际上，可以证明我们的优化问题满足$\mathcal{d}^*=\mathcal{p}^*$需要的条件，同时也满足KKT条件，因此我们可以通过求解对偶优化问题来求解原优化问题。而且明显可以看出我们上述的对偶优化问题是一个以$\alpha_i$为参的函数最大值的求解问题。$\alpha$都求出来，问题解决！NO！暂且让我们把求$\alpha$的高端算法放一放。假设已经求得了所要优化问题的$\alpha$，因为$y^{(i)}$和$x^{(i)}$都是已知的，所以我们很轻松的搞定$\omega$，在得到$\omega^*$之后，截距$b^*$的求法如下：

$b^*=-\frac{max_{i:y^{(i)}=1}\omega^{*T}x^{(i)}}{2}.$

为了进一步给核函数铺垫一下，对于上边绿色的求$\omega$的式子我有话说！假设我们用一个训练集训练了这个模型，现在要去预测一个新的点$x$，计算$\omega^T+b$，如果大于1则$y=1$。但是！但是！通过绿色的等式，这玩意还可以这样预测：

$$\begin{aligned} & \omega^T+b=\left(\sum_{i=1}^m\alpha_iy^{(i)}x^{(i)}\right)^Tx+b \\ & \ \qquad\quad= \sum_{i=1}^m\alpha_iy^{(i)}\langle x^{(i)},x\rangle+b.\\ \end{aligned}$$

为什么要有内积的出现呢？留一手！注意上边的式子中，记得我们曾提起过一个概念叫支撑向量，对于上边的式子来说，除了支撑向量对应的$\alpha_i$以外，其他的$\alpha_i$均为0，而支撑向量又比较少！！！求和中的许多项都为0！！！这就很大程度上减少了我们的计算量。关于内积，其实是核函数中极为重要的一环，而通过核函数，可以提高我们的计算效率（即使在高维甚至无限维）。