【凸优化】点到超平面距离公式的推导

给出点到超平面的距离公式，并进行了推导证明。该距离用于深度学习中感知机损失函数的计算。

点到超平面公式

点到超平面距离的计算公式为: 距离 = |(点 - 超平面上任意一点)·法向量| / |法向量| 其中, 法向量是超平面的法向量, 点是要求距离的点, 超平面上任意一点是超平面上的任意一点. ...

任意点 到超平面的距离公式 在样本空间中，划分超平面可通过如下线性方程来描述: 其中 w 决定了超平面的方向 ; b 为位移项，决定了超平面与原点之间的距离.显然，划分超平面可被法向量 ω 和位移 b 确定 。 任意点到超平面的距离公式为： 推到如下： ...

一、什么是支持向量机SVM 支持向量机（support vector machine），是一种分类算法 假设我们有这样的一堆样本，其中y表示不同的类型，这些样本在坐标系中的分布如下： 现在想要使用一个超平面（二维中是直线，一维中是一个数字）把这两种样本进行区分，此时有无数条直线可以做到这件事情，但是在上图的三条直线中，红色的鲁棒性最好，因为两条蓝色的直线，都过于接近两个样本，导致在非训练...

假设一堆训练数据的正负样本标记为 假设有一个超平面H：  ，可以通过此线性方程划分，同时存在两个平行于H的超平面H1和H2：超平面H能够正确分类，也就是满足如下约束：即：            （1）离H最近的正负样本刚好分别落在H1和H2上使等号成立，它们就是支持向量。而超平面H1和H2的距离可知为（注：线到线的距离公式求得）：   SVM目标找到具有“最大间隔”的划分超平面。即找到满足（1）的...

注：以下内容参考了Shu-Cherng Fang教授2009年在清华的夏季学期课程《Global Optimization with Applications》讲义。今天介绍一点凸优化方面的知识～内容可能有点无聊，看懂了这篇文章，会对求极值和收敛有进一步理解，比如：了解为什么向量机（SVM）等的推导中，求极值时可以把约束条件加在目标函数后面来变成一个无约束的优化问题。理解EM算法（聚类，GMM等）

1、了解凸集和仿射集的基本概念。 凸集：在凸集内部的两个点之间的线段仍在图形内，则称这个图形为凸集。 仿射集：通过集合中任意两个不同点的直线仍然在这个集合内则称为这个集合的仿射集。 仿射集说的是直线，凸集说的是线段。 2、知道几何体的向量表达。 两个θ+（1-θ）=1代表的是两个点之间的关系是直线关系，如果不等于1则代表是其他的非线性的关系。 3、了解超平面和半空间的概...

在感知机模型中，输入空间中任意一点 到超平面S的距离： 其推导过程如下：

转载博客： https://blog.csdn.net/deecheanW/article/details/89057405

  最近在学习《统计学习方法》，在学习第一个机器学习算法 ——感知机时，提出了超平面的概念，以下为超平面公式的推导及空间中任意一点距离超平面距离的推导。方便日后复习。参考 超平面    ...

问题：假设我们知道空间中的一个超平面S：，和中的一个点，(是n维列向量)，如何求得到超平面S的距离？ 首先给出距离公式： 推导（1）： 首先，对于向量，我们知道。而在上的投影长度为。 对于超平面S，是超平面的法向量，我们在超平面上取一点，向量在上的投影长度就是到超平面的距离，根据上面的点积公式，有下面...

转载别人的博客，由于看到的也是别人转载的，具体地址已不可考。所以对原作者说声抱歉，没能附上转载的地址。 在这里对上面的公式推导做个解释，由于2个向量的点积的公式为，而向量想x0x1又与超平面平行，所以2者形成的夹角0或者180，也就是cosα=+1或者-1，所以2个向量点积的绝对值为2者模的乘积。也就是L2范数那一行成立的理由。

支持向量机就是找到划分超平面中间隔最大的超平面，设定划分超平面的线性方程为： 其中 w 决定了超平面的方向 ; b 为位移项，决定了超平面与原点之间的距离.显然，划分超平面可被法向量 ω 和位移 b 确定 。 其中任意点到超平面的距离公式y为： 上述是点在超平面的正一侧的情形，如何点再在超平面负的一侧，只需在公式前加-号即可。 综上所述，点与超平面的距离公式可表示为： yi*y ...

　　 “距离”这个词经常在用到，在初中几何上，它指两点间直线的长度，想要测量它很容易，然而果真如此吗？乘坐出租车从家到公司，下车后计价表显示30公里，这可不是两点间的直线。《三国》里，探马回报：“袁军距我军30里处的官渡处下寨，绵延百里”,到底是30里还是百里，怎样才算30里？2018年法国队赢得世界杯冠军，距离他们上次夺冠，已经过去了20年，这里的距离又是时间的跨度。一对单身男女相亲，在一顿无聊...

点到超平面距离公式的证明，第六章支持向量机的过程推导

【例2】已知SSS为维n欧式空间中的n-1维超平面 S : w⋅x+b=0 S \ : \ \bold{w}·x + b =0 S : w⋅x+b=0 其中 w\bold{w}w 和 xxx 均为n维向量。 n维空间中的点 x0=(x0(1),x0(2),⋯ ,x0(n))x_0 = (x_0^{(1)},x_0^{(2)},\cdots,x_0^{(n)})x0​=(x0(1)​,x0(2)​,⋯,x0(n)​) 。 求证：点 PPP 到超平面 SSS 的距离 d.

神经病大晚上不睡觉做支持向量机的数学推导。

一个平面或超平面由一个方程（不是一组方程）定义： {x∣aTx=b}\{x\mid a^Tx=b\}{x∣aTx=b} 其中 aaa 是一个非零的列向量，而 bbb 是一个实数。那么它的法线（垂线）向量是 aaa。 例如，超平面 2x+3y+4z=52x+3y+4z=52x+3y+4z=5 它法线向量是：(2,3,4)(2, 3, 4)(2,3,4)。它的一个法线是： x−12=y−13=z−14...