点到超平面的距离

背景

最近开始自学机器学习，在网上看浙江大学机器学习的课程。一上来就发现自己数学这一块着实是不太行，很多基础都不懂。毕竟从学校毕业以后就没碰过数学了。没办法，慢慢找补找补吧~

课程一开始是先讲了支持向量机，里面需要用到“一个点到一个超平面”的距离。（这个是中学的内容了，我都已经不会了哈哈）。在网上搜索学习了一下差不多是会了。

在网上搜索到这篇博客，讲的很好。这里我做一些自己的补充。

点到超平面的距离

问题描述

求点 $X_0$ 到超平面 $\vec{\omega }\vec{X}+b=0$ 的距离。超平面是多维的情况。两维时就是直线，三维时就是个平面。

推导

先找一个平面的法向量

$\vec{\omega }$ 就是这个平面的一个法向量。嗯，就这么简单。

为什么呢？

在平面上任取两个点 $X_1$和 $X_2$，有：

• $\vec{\omega }\overrightarrow{X_1}+b=0$
• $\vec{\omega }\overrightarrow{X_2}+b=0$

所以，$\vec{\omega }\cdot (\overrightarrow{X_1}-\overrightarrow{X_2})=0$
即 $\vec{\omega }$ 和平面上任意向量垂直，所以 $\vec{\omega }$ 就是该平面的一个法向量。

求距离

再在平面任取一点 $X_1$，然后通过和$X_0$连线,得到 $\overrightarrow{X_0{X}_1}$。再用夹角余弦求得$X_0$到平面的距离。

我们要求的就是距离 $d$ 就是 $\Vert \overrightarrow{X_0{X}_1}\Vert \cdot cos\theta$
我们已经有了法向量 $\vec{\omega }$，根据向量点积的几何定义，我们有

$$cos\theta =\frac{\vec{\omega }\cdot \overrightarrow{X_0{X}_1}}{\Vert \vec{\omega }\Vert \Vert \overrightarrow{X_0{X}_1}\Vert }$$

距离 $d$ 就等于：
$$d=\frac{\vec{\omega }\cdot \overrightarrow{X_0{X}_1}}{\Vert \vec{\omega }\Vert }=\frac{\vec{\omega }\cdot \overrightarrow{X_0}-\vec{\omega }\cdot \overrightarrow{X_1}}{\Vert \vec{\omega }\Vert }$$

然后因为 $X_1$ 就在超平面上，所以距离 $d$ 为：

$$d=\frac{\vec{\omega }\cdot \overrightarrow{X_0}+b}{\Vert \vec{\omega }\Vert }$$

小结

依然觉得公式不是特别直观，但好在很短很好记。

可以这样记：直接把 $X_0$ 带入超平面然后除以 $\Vert \vec{\omega }\Vert$。

引用

• 点到超平面距离推导