线性代数 --- 投影与最小二乘(下)，多元方程组的最小二乘解与向量在多维子空间上的投影

多元方程组的最小二乘解与向量在多维子空间上的投影

        在这篇文章中，我们把一元一次方程组ax=b的最小二乘问题，拓展到更为普遍的多元方程组Ax=b的最小二乘问题。之前的ax=b中的a是mx1矩阵，整个方程组只有一个未知数，a中只有一个列向量。现在我们要讨论的的方程组Ax=b有n个变量，矩阵A中有 n列。

此外，我们依然只关注方程组的个数m，大于未知数个数n的情形，也就是说观察点过多的情形。这样一来，方程组Ax=b大概率是不相容的/无解的，也就是说向量b大概率不在A的列空间C(A)内。

这里，我就不再从微积分的角度去计算最小二乘解了，单单从线性代数的角度去分析方程组Ax=b。

假定Ax=b方程组为:

对应的矩阵A为：