向量范数学习

向量范数

定义

如果$V$是数域$P$上的线性空间，且对于$V$的任一向量$x$，对应着一个数值函数$\Vert x\Vert$,他满足以下3个条件：
（1）非负性：当$x\ne 0$时，$\Vert x\Vert >0$，当且仅当$x=0$时，$\Vert x\Vert =0$
（2）齐次性：$\Vert kx\Vert =\left|k\right|\Vert x\Vert ,k\in P$
（3）三角不等式：$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert ,x,y\in V$
则称$\Vert x\Vert$为$V$上向量$x$的范数（norm）

常见的范数

2-范数或欧式范数
设$x=(x_1,\cdots ,x_n{)}^T\in R^n$,则
$$\Vert x{\Vert }_2=\sqrt{x_1^2+\cdots x_n^2}=(x^{T}x{)}^{\frac{1}{2}}$$
对于$x\in C^n$
$$\Vert x{\Vert }_2=\sqrt{{\left|x_1\right|}^2+\cdots {\left|x_n\right|}^2}=(x^{H}x{)}^{\frac{1}{2}}$$
1-范数
$$\Vert x{\Vert }_1=\sum _{i=1}^n\left|x_i\right|$$
$\infty -$范数
$$\Vert x{\Vert }_{\infty }=\underset{i}{\max }\left|x_i\right|$$
p-范数
$$\Vert x{\Vert }_p=(\sum _{i=1}^n{\left|x_i\right|}^p{)}^{\frac{1}{p}})(p\ge 1)$$
容易证明满足非负性和齐次性
三角不等式可以用闵可夫斯基不等式来证明
根据闵可夫斯基不等式，$p<1$的时候，不满足范数的三角不等式

赋范线性空间

定义了向量范数$\Vert \cdot \Vert$的线性空间$V^n$称为赋范线性空间，其中$\Vert \cdot \Vert$表示泛指任何一种范数

向量范数的性质

向量范数等价

定义

设$\Vert x{\Vert }_a,\Vert x{\Vert }_b$是$n$维线性空间$V^n$上定义的任意两种范数，若存在两个与$x$无关的常数$c_1,c_2>0$,使得
$$c_1\Vert x{\Vert }_b\le \Vert x{\Vert }_a\le c_2\Vert x{\Vert }_b(\forall x\in V^n)$$
则称$\Vert x{\Vert }_a,\Vert x{\Vert }_b$等价

命题

设$x_1,\cdots ,x_n,\cdots$是线性空间$V$的向量序列，$x^{\ast }$是$V$中某给定向量，设$\Vert \cdot {\Vert }_a,\Vert \cdot {\Vert }_b$是$V$中两个向量范数，则$\Vert \cdot {\Vert }_a,\Vert \cdot {\Vert }_b$等价的充要条件是
$$\underset{n\to \infty }{\lim }\Vert x_n-x^{\ast }\Vert =0\iff \underset{n\to \infty }{\lim }\Vert x_n-x^{\ast }{\Vert }_b=0$$
此时称序列 { x n } \{x_n\} {xn​}按向量范数收敛于$x^{\ast }$,换句话说，两个向量范数等价$\iff$他们具有相同的敛散性

定理

有限维上的不同向量范数是等价的

证明：
简单来说先证明传递性，然后证明所有范数与2范数等价

设${ϵ}_1,{ϵ}_2,\cdots {ϵ}_n$是$V^n$的一个基，于是$V^n$中向量$x$可以表示为
$$x=x_1{ϵ}_1+\cdots +x_n{ϵ}_n$$
定义
$$\Vert x{\Vert }_2=\sqrt{x_1^2+\cdots +x_n^2}$$
显然他是一种范数，若存在常数$c_1^{\prime },c_2^{\prime },c_1^{\prime \prime },c_2^{\prime \prime }>0$使得
$c_1^{\prime }\Vert x{\Vert }_2\le \Vert x{\Vert }_a\le c_2^{\prime }\Vert x{\Vert }_2$和
$c_1^{\prime \prime }\Vert x{\Vert }_b\le \Vert x{\Vert }_2\le c_2^{\prime \prime }\Vert x{\Vert }_b$成立，
则
$c_1^{\prime }{c}_1^{\prime \prime }\Vert x{\Vert }_b\le \Vert x{\Vert }_a\le c_2^{\prime }{c}_2^{\prime \prime }\Vert x{\Vert }_b$,
令$c_1=c_1^{\prime }{c}_1^{\prime \prime },c_2=c_2^{\prime }{c}_2^{\prime \prime }$,则
$c_1\Vert x{\Vert }_b\le \Vert x{\Vert }_a\le c_2\Vert x{\Vert }_b$,

$$\Vert x{\Vert }_a=\Vert x_1{ϵ}_1+\cdots +x_n{ϵ}_n{\Vert }_a=\varphi (x_1,\cdots x_n)$$
设$x^{\prime }=x_1^{\prime }{ϵ}_1+\cdots +x_n^{\prime }{ϵ}_n$
∣ ϕ ( x 1 ′ , ⋯   , x n ′ ) − ϕ ( x 1 , ⋯   , x n ) ∣ = ∣ ∥ x ′ ∥ a − ∥ x ∥ a ∣ ≤ ∥ x ′ − x ∥ a = ∥ ( x 1 ′ − x 1 ) ϵ 1 + ⋯ + ( x n ′ − x n ) ϵ n ∥ a ≤ ∣ x 1 ′ − x 1 ∣ ∥ ϵ 1 ∥ a + ⋯ ∣ x n ′ − x n ∣ ∥ ϵ n ∥ a \begin{aligned} &\quad \left| \phi(x'_1,\cdots,x'_n)-\phi(x_1,\cdots,x_n)\right|\\ &=\left|\Vert x' \Vert_a - \Vert x \Vert_a \right|\\ & \le \Vert x'-x \Vert_a\\ &=\Vert (x'_1-x_1)\epsilon_1+\cdots + (x'_n-x_n)\epsilon_n\Vert_a\\ &\le \left|x'_1-x_1\right|\Vert \epsilon_1 \Vert_a+\cdots \left|x'_n-x_n\right|\Vert \epsilon_n \Vert_a \end{aligned} ​∣ϕ(x1′​,⋯,xn′​)−ϕ(x1​,⋯,xn​)∣=∣∥x′∥a​−∥x∥a​∣≤∥x′−x∥a​=∥(x1′​−x1​)ϵ1​+⋯+(xn′​−xn​)ϵn​∥a​≤∣x1′​−x1​∣∥ϵ1​∥a​+⋯∣xn′​−xn​∣∥ϵn​∥a​​
当$x^{\prime }$与$x$充分接近时，$\varphi (x_1^{\prime },\cdots ,x_n^{\prime })$与$\varphi (x_1,\cdots ,x_n)$充分接近时，所以$\varphi (x_1,\cdots ,x_n)$是一个连续函数
在有界闭集（单位球）
$$x_1^2+\cdots x_n^2=1$$
上函数可以达到最大值$M$和最小值$m$,因为$x_i$不全为0，因此$m>0$
$$d=\Vert x{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$
$$y=\frac{x_1}{d}{ϵ}_1+\cdots +\frac{x_n}{d}{ϵ}_n$$
满足
$$(\frac{x_1}{d}{)}^2+\cdots +(\frac{x_n}{d}{)}^2=1$$
因此$y$在单位球上，从而
$$0<m<\Vert y\Vert a=\varphi (\frac{x_1}{d},\cdots ,\frac{x_n}{d})\le M$$
因为
$$y=\frac{1}{d}x$$
所以
$$md\le \Vert x{\Vert }_a\le Md$$
即
$$m\Vert x{\Vert }_2\le \Vert x{\Vert }_a\le M\Vert x{\Vert }_2$$