机器学习数学基础之范数

一、范数的定义

范数是用来衡量向量大小的函数，记作$L^p$，定义为：
$$||x|{|}_p=(\sum _i|x_i{|}^p{)}^{\frac{1}{p}}$$
其中，$p\in \mathbb{R}$，$p\ge 1$，这里的$\mathbb{R}$为实数集。
直观上来说，向量$x$的范数衡量从原点到点$x$的距离。

二、欧几里得范数

欧几里得范数是机器学习中出现较为频繁，它是当$p=2$时的特殊范数，即$L^2$，可以简化表示为$||x||$。它表示从原点到该向量的欧几里得距离。

我们有时候也会使用到平方$L^2$范数，可以简单理解为范数的平方，它在数学计算上面比$L^2$范数要方便得多。但是在某些情况下，由于平方$L^2$范数在原点附近增长缓慢，所以在某些有不同需求的模型中是不适用的。

除此之外，我们有时也会使用简单的$L^1$范数，即$||x|{|}_1={\sum }_i|x_i|$。每当向量$x$中的某个元素增加$y$时，整个范数也会增加$y$.

三、向量的大小和个数的理解

前面介绍到的范数指的是衡量一个向量的大小，如果我们要知道一个向量的非零元素个数，我们通常用$L^1$范数作为表示非零元素个数的替代函数，因为无论将$L^p$范数缩放多少倍，里面的非零元素的个数是不会变化的，它只会影响范数的大小，那么为什么用$L^1$范数呢？————因为简单方便啊哈哈哈哈哈！！！！

四、最大范数（max norm）

1、表示的是向量中具有最大幅值的元素的绝对值，尤其要注意它是向量中元素的绝对值，这个元素的幅值是最大的，也就是离远点是最远的，$L^{\infty }$最大范数定义为：
$$||x|{|}_{\infty }=ma{x}_i|x_i|$$

2、在深度学习中，我们也会使用$Frebenius$范数来衡量！矩阵！的大小，即：
$$|A{|}_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$

3、两个向量的点积使用范数来表示就是：
$$x^{T}y=||x|{|}_2||y|{|}_2\cos \theta$$ 其中，$\theta$表示$x$和$y$之间的夹角。