【笔记】MIT_线性代数 第05讲 向量空间和子空间

1. 置换矩阵

上一讲限制了矩阵A可逆且不需要行交换进行LU分解，本节考虑需要行交换情况。

置换矩阵P（Permutation Matrix），即用来完成行交换的矩阵。

若有$n\ast n$的单位矩阵$I$，其总共有$n!$种置换矩阵，
将其中任意两个相乘，结果依然在它们中，并且置换矩阵的逆等于其转置。

对于任意可逆矩阵A（需要行交换），有

$$PA=LU$$

该描述概括了需要行交换以完成LU分解的情况

示例 1：
$$\begin{array}{rl}& \text{设}3\times 3\text{的}\mathrm{I}，\text{其总共有}6\text{种置换矩阵}\\ P_1& =\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],P_2=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],P_3=\left[\begin{array}{ccc}0& 0& 1\\ 0& 1& 0\\ 1& 0& 0\end{array}\right]\\ P_4& =\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right],P_5=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right],P_6=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]\end{array}$$
对于$P_6$，我们可以得出$P_6{P}_6^T=I$，所以

$$P^{-1}=P^T$$

2. 转置矩阵

给一个$m\ast n$的矩阵A，它的转置矩阵（Transpose Matrix）为一个$n\ast m$的矩阵，记作$A^T$。

示例 2：
$$\begin{array}{r}A=\left[\begin{array}{cc}1& 3\\ 2& 3\\ 4& 1\end{array}\right],A^T=\left[\begin{array}{ccc}1& 2& 4\\ 3& 3& 1\end{array}\right]\end{array}\text{\hspace{1em}(1)}$$

即矩阵的列由对应行构成

2.1 对称矩阵

对于一个矩阵A，如果它的转置等于它本身，那么该矩阵为对称矩阵（Symmetric Matrix），即

$$A^T=A$$

示例 3：
$$A=\left[\begin{array}{ccc}3& 1& 7\\ 1& 2& 9\\ 7& 9& 4\end{array}\right],A^T=\left[\begin{array}{ccc}3& 1& 7\\ 1& 2& 9\\ 7& 9& 4\end{array}\right]$$

可以看到它的转置等于它本身，该矩阵即对称矩阵。

那么如何由一个非对称矩阵得到对称矩阵呢？

对于一个非对称矩阵$A$，我们可以左乘或右乘$A^T$来得到一个对称矩阵。

示例 4：

对例1中的$A$和$A^T$，有
$$A{A}^T=\left[\begin{array}{cc}1& 3\\ 2& 3\\ 4& 1\end{array}\right]\left[\begin{array}{ccc}1& 2& 4\\ 3& 3& 1\end{array}\right]=\left[\begin{array}{ccc}10& 11& 7\\ 11& 13& 11\\ 7& 11& 17\end{array}\right]$$
而
$$A^{T}A=\left[\begin{array}{ccc}1& 2& 4\\ 3& 3& 1\end{array}\right]\left[\begin{array}{cc}1& 3\\ 2& 3\\ 4& 1\end{array}\right]=\left[\begin{array}{cc}21& 13\\ 13& 19\end{array}\right]$$

可以看到左乘和右乘我们可以得到两个不同的对称矩阵。

想要证明此性质，可以用到转置矩阵定理

由于$(AB{)}^T=B^T{A}^T且(A^T{)}^T=A$，那么
$$(A{A}^T{)}^T=A{A}^T$$
或
$$(A^{T}A{)}^T=A^{T}A$$

3. 向量空间和子空间

3.1 向量空间

探讨向量空间，需要用到加法和数乘两种向量运算，本讲这里讨论的均为实向量空间，所有标量均为实数

定义：

一个向量空间（Vector Spaces）是一个非空的对象集合$V$，这些对象被称为向量（Vector），在其上定义了两种运算，称为加法和数乘（标量为实数），并且满足以下十条公理（或规则）。对于$V$中的所有向量 $u,v,w$ 以及所有标量 $c$ 和 $d$：
$$\begin{array}{rl}& 1.u与v的和，记为u+v，属于V\\ & 2.u+v=v+u\\ & 3.(u+v)+w=u+(v+w)\\ & 4.V中存在一个零向量0，使得u+0=u\\ & 5.对V中的每个u，都存在一个向量-u，使得u+(-u)=0\\ & 6.u与标量c的数乘，记为cu，属于V\\ & 7.c(u+v)=cu+cv\\ & 8.(c+d)u=cu+du\\ & 9.c(du)=(cd)u\\ & 10.1u=u\end{array}$$

简而言之，向量空间必须对加法和数乘两种向量运算是封闭的。

规定${\mathbb{R}}^n$为所有$n$维实向量构成的向量空间。

示例 5：

那么，所有向量空间中都必须存在零向量。

如果我们只取${\mathbb{R}}^2$中第一象限的部分作向量集合，对其中某一向量加法或数乘，结果可能不会在该集合中，可知它不构成向量空间。

3.2 子空间

对于 ${\mathbb{R}}^2$，如果取其一部分，不论对其中向量做加法还是数乘，其结果依然在这部分中，那么这就是所谓的子空间（Subspaces），称作${\mathbb{R}}^2$中的向量空间或${\mathbb{R}}^2$的向量子空间。

示例 2：

在${\mathbb{R}}^2$上，设有过原点的直线$l_1$和不过原点的直线$l_2$。

对于$l_1$上的任意向量，进行加法或数乘，所得结果仍在$l_1$上，可知直线$l_1$是${\mathbb{R}}^2$的一个子空间。
而$l_2$上的向量乘以$0$，其结果不是$0$，所以$l_2$不构成子空间。
显然，${\mathbb{R}}^2$中的直线是子空间当且仅当直线过原点。

现在，我们可以列出${\mathbb{R}}^2$中所有子空间：

1. ${\mathbb{R}}^2$，${\mathbb{R}}^2$ 自身是 ${\mathbb{R}}^2$ 的子空间（平面）

2. ${\mathbb{R}}^2$ 中所有过原点的直线（直线 $l$）

3. 零向量（原点 $Z$）

接下来想象下，${\mathbb{R}}^3$的子空间都有哪些：

1. ${\mathbb{R}}^3$，${\mathbb{R}}^3$自身是${\mathbb{R}}^3$的子空间（三维平面）

2. ${\mathbb{R}}^3$中所有过原点的平面（二维平面）

3. ${\mathbb{R}}^3$中所有过原点的直线（直线 $l$）

4. 零向量（原点$Z$）

3.2.1 列空间的定义

现在，我们知道了什么是子空间，接下来学习如何从矩阵中构造出一个子空间

首先我们知道向量空间对加法和数乘是封闭的，而列的线性组合包含了加法和数乘两种运算。
由此我们有定义：

矩阵A的列空间（Column Space），记作$ColA$或$C(A)$，由$A$所有列的线性组合构成。

示例 6：

$$对于矩阵A=\left[\begin{array}{cc}1& 3\\ 2& 1\\ 4& 1\end{array}\right]，其列属于{\mathbb{R}}^3$$

那么该矩阵$A$的所有列线性组合构成了一个${\mathbb{R}}^3$中的子空间。
对此的解释是：

向量 $\left[\begin{array}{c}1\\ 2\\ 4\end{array}\right]$和$\left[\begin{array}{c}3\\ 1\\ 1\end{array}\right]$ 分别构成一条${\mathbb{R}}^3$中过原点的直线。

而这两直线构成一个${\mathbb{R}}^3$中过原点的平面，该平面即矩阵$A$的列空间$C(A)$。