从线性方程组求解到最小二乘问题

关键词：线性方程组，矩阵，秩，矩阵逆，伪逆，左逆，右逆，

线性方程组求解：
$$Ax=y$$
已知$A\in {\mathbb{R}}^{m\times n}$和$y\in {\mathbb{R}}^m$，求$x\in {\mathbb{R}}^n$。
$m$为方程个数（行数），$n$为未知数个数（列数），根据$m$,$n$的大小关系，可以分为3类：
(1)$m>n$：超定方程组，
(2)$m=n$：适定方程组，
(3)$m<n$：欠定（不定）方程组；
三种情况都可能相容（有解）也可能不相容（无解），因此这个关系划分不够本质，最本质的关系应该由秩的概念划分：
(1)相容方程组$rank[A]=rank[A,y]$，有解。
(2)不相容方程组：$rank[A]<rank[A,y]$，无解。

对于相容方程组：

首先所有的相容方程组都可以由Moore Penrose逆求解：
$$x=A^{+}y+(I-A^{+}A)c$$
其中$A^{+}$为Moore Penrose$逆，c$为${\mathbb{R}}^n$中任意向量。
其包含三种情况：
(1) $rank[A]=n$, 列满秩：（由于$rank[A]\le min(m,n)$，暗含$n\le m$），此时$A^{+}A=I$，有唯一解：
$$x=(A^{T}A{)}^{-1}{A}^{T}y$$
其中$(A^{T}A{)}^{-1}{A}^T$被标记为左逆$A_L^{-1}$。
当$A$的列为单位正交基时，$x=A^{T}y$。
(2) $rank[A]=m$，行满秩：（由于$rank[A]\le min(m,n)$，暗含$m\le n$），
当$m=n$，与情况(1)相同，有唯一解。
当$m<n$， 有无穷解，一特解为$$x=A^T(A{A}^T{)}^{-1}y$$
其中$A^T(A{A}^T{)}^{-1}$被标记为右逆$A_R^{-1}$。
当$A$的行为单位正交基时，$x=A^{T}y$。（卷积转置可视化原理）。
(3) $rank[A]<min(m,n)$, 有无穷解：
$$x=A^{+}y+(I-A^{+}A)c$$
其中$A^{+}$为Moore Penrose$逆，c$为${\mathbb{R}}^n$中任意向量，解空间维度为$n-rank[A]$。

对于无穷解的情况，一般取其极小范数解：
$$||x_0|{|}_2=\underset{Ax=y}{\min }||x|{|}_2$$,
$$x_0=A^{+}y。$$

对于不相容方程组：

(1)对于不相容方程组，基于最小二乘原则，可以得到最小二乘问题：
$$\underset{x}{\min }||Ax-y|{|}_2$$
则可以取得最小值的全部解为$x_0=A^{+}y+(I-A^{+}A)c$，$c$为任意${\mathbb{R}}^n$。注意当$A^{+}A=I$,（$rank[A]=n$）时，有唯一解取得最小值。

因此不相容方程组的最小二乘解一般不唯一，常取最小二范数解$x_0=A^{+}y$，称为极小范数最小二乘解。
(2)如果对解加上其他约束，则得到其他形式的解[deep learning. p61]。比如约束$x^{T}x\le 1$:
$$\underset{x}{\min }\frac{1}{2}||Ax-y|{|}_2^2$$
$$s.t.x^{T}x\le 1$$

(3)最小二乘标准形式(带正则项的最小二乘)[PRML,p144]
$$\underset{x}{\min }\frac{1}{2}||Ax-y|{|}_2^2+\frac{\lambda }{2}||x|{|}_2^2$$
解析解为$x_0=(\lambda I+A^{T}A{)}^{-1}{A}^{T}y$。

Moore Penrose伪逆

最后我们看Moore Penrose伪逆的求法：
(1) [deep learning,p 28]
$$A^{+}=\underset{\alpha \to 0}{\lim }(A^{T}A+\alpha I{)}^{-1}{A}^T$$
或
$$A^{+}=V{D}^{+}{U}^T$$
其中$U,D,V$来自于SVD分解。$A=UD{V}^T$。
(2)[PRML,p142]
$$A^{+}=(A^{T}A{)}^{-1}{A}^T$$
(3)
利用SVD分解[矩阵论简明教程，p142]：
$$A^{+}=V{D}^{+}{U}^T{A}^{+}=V\left[\begin{array}{cc}{\Sigma }^{-1}& 0\\ 0& 0\end{array}\right]U^T$$
其中$A=UD{V}^T$。
或者利用满秩[矩阵论简明教程，p148]：
$$A^{+}=G^T(G{G}^T{)}^{-1}(F^{T}F{)}^{-1}{F}^T$$
$A=FG,F\in {\mathbb{R}}_r^{m\times r},G\in {\mathbb{R}}_r^{r\times n}$。
列满秩时：$$A^{+}=(A^{T}A{)}^{-1}{A}^T$$
行满秩时：$$A^{+}=A^T(A{A}^T{)}^{-1}$$

https://zhuanlan.zhihu.com/p/91859104