MIT 线性代数 Linear Algebra 28: 对称矩阵与Jordan Form

在本节开始前，Prof. Strang 先回顾了一下positive definite matrix，有一些新内容

More about positive definiteness

1. 如果 $\mathbf{A}$ 正定，则 ${\mathbf{A}}^{-1}$ 正定。

这个结论直接看特征值就行, ${\mathbf{A}}^{-1}$ 的特征值是 $\mathbf{A}$ 的倒数 (不记得的往前看，$\mathbf{A}$的特征多项式两边同乘 ${\mathbf{A}}^{-1}$ 即可得到)，所以也全是正数。

2. if $\mathbf{A}\mathbf{B}$ 都是正定的，那么 $A+B$ 也是正定的。

根据正定的定义易得。

3. 只要方阵 $\mathbf{A}$ 满秩, ${\mathbf{A}}^{\top }\mathbf{A}$ 是正定矩阵。

对称性显然满足, 再看 $\mathbf{x}\ne 0$ 时的 ${\mathbf{x}}^{\top }{\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=(\mathbf{A}\mathbf{x}{)}^{\top }\mathbf{A}\mathbf{x}=\Vert \mathbf{A}\mathbf{x}{\Vert }^2$，因为 $\mathbf{A}$ 满秩，所以 null space 只有全零向量，因此 $\Vert \mathbf{A}\mathbf{x}{\Vert }^2>0$, ${\mathbf{A}}^{\top }\mathbf{A}$ 正定. In general, 如果 $\mathbf{A}$ 不是方阵，只要它列满秩也有同样结论。

对称矩阵

对称矩阵的意义在于它构建了a family of matrices。具体来说，我们称 $\mathbf{B}$ 与 $\mathbf{A}$ 相似 if and only if

$$\mathbf{B}={\mathbf{M}}^{-1}\mathbf{A}\mathbf{M}$$

注意，

1. ${\mathbf{M}}^{-1}$ 和 $\mathbf{M}$ 互为逆，所以谁在左边谁在右边无关紧要，这与 ${\mathbf{A}}^{\top }\mathbf{A}$ 不同。

2. 所有相似的矩阵构成了一个family，其中可能会有对角阵，那说明这个family所有的矩阵都可以相似对角化。

3. 所有相似的矩阵有同样的特征值.
   $$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$$

$$\mathbf{M}{\mathbf{B}\mathbf{M}}^{-1}\mathbf{x}=\lambda \mathbf{x}$$

$$\mathbf{B}{(\mathbf{M}}^{-1}\mathbf{x})=\lambda ({\mathbf{M}}^{-1}\mathbf{x})$$

从第三点来看，实际上相似对角化 $\mathbf{A}=\mathbf{S}\Lambda {\mathbf{S}}^{-1}$ 保持了 $\mathbf{A}$ 的特征值不变，而是把特征向量变得很nice，因为对角矩阵的特征向量就是 单位阵的各个column。

Jordan form

如果我们考虑理想的情况，设矩阵 $\mathbf{A}$, $\mathbf{B}$ 有同样的 $n$ 个各不相同的特征值 ${\lambda }_1$, ${\lambda }_2$, …, ${\lambda }_n$, 那他们俩必定相似，而且任何特征值为 ${\lambda }_1$, ${\lambda }_2$, …, ${\lambda }_n$的矩阵都与他们相似。

但是如果特征值有重复的，且线性相关特征向量的个数不足 $n$ 个，那这个family里面会缺少对角阵，比如
$$\mathbf{A}=\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]\mathbf{B}=\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right]$$

除去 $\mathbf{A}$ 之外所有特征值为 {4,4}\{4,4\}{4,4} 的矩阵都与 $\mathbf{B}$ 相似，而$\mathbf{A}$ 只与自己相似因为 ${\mathbf{M}}^{-1}\mathbf{A}\mathbf{M}=\mathbf{A}$ . 此时，我们只能从包含 $\mathbf{B}$ 的family中找到一个与 $\mathbf{A}$ 最相似的，这也就是Jordan matrix。

Theorem: 任意方阵 $\mathbf{A}$ 都与一个 Jordan matrix $\mathbf{J}$ 相似。
$$\mathbf{J}=\left[\begin{array}{cccc}{\mathbf{J}}_1& 0& \cdots & 0\\ 0& {\mathbf{J}}_2& \cdots & 0\\ ⋮& ⋮& \ddots & 0\\ 0& 0& 0& {\mathbf{J}}_{\mathbf{d}}\end{array}\right]$$

其中每一个 ${\mathbf{J}}_{\mathbf{i}}$ 都是一个Jordan block。一个Jordan matrix 的例子如下所示

其中每一个Jordan block 对角线都是特征值，上方的次对角线全是1. 特别的，每一个Jordan block对应一个特征向量，因此，Jordan block的数量也就是矩阵线性无关特征值的数量。