线性代数（5）

特征值和特征向量

对$n$阶方阵$A$，如果满足$$Ax=\lambda x\text{\hspace{1em}(1)}$$其中$x$为$n$维非0向量，$\lambda$为常数（可以为复数）
则称$\lambda$为$A$的特征值，$x$为$A$属于$\lambda$的特征向量

式(1)的几何意义是：向量$x$经过转换矩阵$A$后，依然保持原来的方向，只有$\lambda$倍伸缩的变化

特征向量与特征值的求解

对式(1)稍作变形，有
$$(A-\lambda I)x=0\text{\hspace{1em}(2)}$$
要使得式(2)有非0解，则$A-\lambda I$为奇异矩阵，即
$$det(A-\lambda I)=0\text{\hspace{1em}(3)}$$
求解式(3)，可以得到所有特征值${\lambda }_i$
将特征值代入式(2)，可以求得对应的特征向量$x_i$

特征向量的性质

1. 所有特征值的和（迹）等于矩阵对角线之和
   $$tr(A)=\sum {\lambda }_i=\sum a_{kk}\text{\hspace{1em}(4)}$$
2. 所有特征值的乘积等于矩阵的行列式
   $$\prod {\lambda }_i=|A|\text{\hspace{1em}(5)}$$
3. 对角矩阵和三角矩阵的特征值是其对角线上的元素
   $${\lambda }_i=a_{ii}\text{\hspace{1em}(6)}$$
4. 对$n$阶的方阵，如果其有$n$个不同的特征值，那么对应的$n$个特征向量线性无关（充分不必要条件）

方阵$A$的$S\Lambda S^{-1}$分解

如果$n$阶方阵$A$有$n$个线性无关的特征向量，则
$$A=S\Lambda S^{-1}\text{\hspace{1em}(7)}$$
其中
$S$是由$A$的$n$个特征向量（列向量）组成的特征矩阵
$\Lambda$是由$A$的$n$个特征值组成的对角阵

证明：
设$S=[x_1,x_2,...x_n]$，$\Lambda =diag({\lambda }_1,{\lambda }_2,...{\lambda }_n)$
其中${\lambda }_1,...,{\lambda }_n$是$A$的特征值，$x_1,...,x_n$是对应的线性无关的特征向量，有：
$$\begin{array}{rl}AS=& A[x_1,x_2,...x_n]\\ =& [{\lambda }_1{x}_1,{\lambda }_2{x}_2,...{\lambda }_n{x}_n]\\ =& [x_1,x_2,...,x_n]diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)\\ =& S\Lambda \end{array}\text{\hspace{1em}(8)}$$

由(8)式易得(7)式

由式(7)，易得
$$A^k=S{\Lambda }^k{S}^{-1}\text{\hspace{1em}(9)}$$
也就是说，方阵的k次幂不改变特征向量，特征值是原来的k倍

由式(9)，如果$A$所有的特征值$|{\lambda }_i|<1$，那么$A^k\to 0ask\to \infty$

$A{u}_k=u_{k+1}$的推导

由$A{u}_k=u_{k+1}$可知
$$u_k=A^k{u}_0\text{\hspace{1em}(10)}$$
令$x_1,x_2,...,x_n$是$A$的$n$个线性无关的特征向量，则$u_0$可分解为
$$u_0=c_1{x}_1+c_2{x}_2+...+c_n{x}_n\text{\hspace{1em}(11)}$$
式(11)两边左乘$A^k$，有
$$A^k{u}_0=u_k=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+...+c_n{\lambda }_n^k{x}_n\text{\hspace{1em}(12)}$$

一个例子

斐波那契数列：$0,1,1,2,3,5,8...$，求$F_{100}$

首先建立方程组
$$\begin{array}{rl}{F}_{k+2}=& F_{k+1}+F_k\\ F_{k+1}=& F_{k+1}\end{array}\text{\hspace{1em}(13)}$$
（第二个等式的意义是使得$A$为方阵）
令$u_k=\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right]$，则有
$$u_{k+1}=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]u_k\text{\hspace{1em}(14)}$$

令$A=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]$，其特征值和对应的特征向量分别为：
$$\begin{gathered} {\lambda }_1=\frac{1}{2}(1+\sqrt{5}),x_1=\left[\begin{array}{c}{\lambda }_1\\ 1\end{array}\right] \\ {\lambda }_2=\frac{1}{2}(1-\sqrt{5}),x_2=\left[\begin{array}{c}{\lambda }_2\\ 1\end{array}\right] \end{gathered}$$
根据式(12)，有
$$u_{100}=c_1{\lambda }_1^{100}{x}_1+c_2{\lambda }_2^{100}{x}_2\text{\hspace{1em}(15)}$$
又因为${\lambda }_2<1$，所以${\lambda }_2^{100}\to 0$，有
$$u_{100}\approx c_1{\lambda }_1^{100}{x}_1\text{\hspace{1em}(16)}$$
即
$$\left[\begin{array}{c}{F}_{101}\\ F_{100}\end{array}\right]\approx c_1{\lambda }_1^{100}\left[\begin{array}{c}{\lambda }_1\\ 1\end{array}\right]\text{\hspace{1em}(17)}$$
从而$F_{100}\approx c_1{\lambda }_1^{100}$

特征值在马尔科夫链中的应用

马尔科夫链是指：在一个系统中某些因素第$n$次结果只受第$n-1$次结果的影响。描述这种状态转移的矩阵称为马尔科夫矩阵

                                      表1. 天气转移概率表

表1中行表示今天的天气，列表示明天的天气
如行2列3的1/2表示今天阴明天雨的概率为1/2

由表1得到对应的马尔科夫矩阵
$$A=\left[\begin{array}{ccc}3/4& 1/2& 1/4\\ 1/8& 1/4& 1/2\\ 1/8& 1/4& 1/4\end{array}\right]\text{\hspace{1em}(18)}$$
观察上式可以得出马尔科夫矩阵的2条性质：

1. 所有值均不大于1
   $$0\le a_{ij}\le 1\text{\hspace{1em}(19)}$$
   因为描述的都是概率
2. 矩阵每列之和为1
   $$\sum _{i=1}^n{a}_{ij}=1\text{\hspace{1em}(20)}$$
   条件概率

此外从特征分解方面来看，马尔科夫矩阵的特征值有2个性质：

1. $\lambda =1$是一个特征值
2. 其余特征值满足$|{\lambda }_i|<1$

从定义可以看出，上一节中$u_{k+1}=A{u}_k$的$A$就是马尔科夫矩阵，因为它连接了前后两个状态

由此，在已知马尔科夫矩阵后便可以利用式(10-12)计算状态的变化趋势

一个例子：
假设$A_{2\times 2}$矩阵表示加州和麻省的人口迁移概率：
$${\left[\begin{array}{c}{U}_{加}\\ U_{麻}\end{array}\right]}_{t=k+1}=\left[\begin{array}{cc}0.9& 0.2\\ 0.1& 0.8\end{array}\right]{\left[\begin{array}{c}{U}_{加}\\ U_{麻}\end{array}\right]}_{t=k}\text{\hspace{1em}(21)}$$
并假定人口初始状态为${\left[\begin{array}{c}{U}_{加}\\ U_{麻}\end{array}\right]}_{t=0}=\left[\begin{array}{c}0\\ 1000\end{array}\right]$

式(21)表示0.9概率的人留加州0.1概率的人迁移麻省，0.8概率的人留麻省0.2概率的人迁移加州（可以看出，加州的人会越来越多）

从式(21)可以得到2个特征值${\lambda }_1=1$，${\lambda }_2=0.7$
根据式(12)，可以得到$k$次迁移后的人口状况：
$$u_k=c_1\left[\begin{array}{c}2\\ 1\end{array}\right]+c_2(0.7{)}^k\left[\begin{array}{c}-1\\ 1\end{array}\right]\text{\hspace{1em}(22)}$$

式(22)代入初始状态，可以求得$c_1=1000/3$，$c_2=2000/3$
又因为$0.7^k\to 0$，因此有
$$u_{\infty }=\frac{1000}{3}\left[\begin{array}{c}2\\ 1\end{array}\right]$$

傅里叶级数的求解

求傅里叶级数展开式(23)各个系数$a_i$
$$f(x)=a_0+a_1\cos x+a_2\sin x+a_3\cos 2x+a_4\sin 2x+...\text{\hspace{1em}(23)}$$

可以发现，上式中各个组成是正交基：$1、\cos x、\sin x、\cos 2x...$

对于连续函数，向量内积变成了函数积分：
$${\int }_0^{2\pi }sinxcosx=0$$

将式(23)两边与$\cos x$做积分，根据标准正交基性质，有
$$\begin{array}{rl}{\int }_0^{2\pi }\cos xf(x)=& {\int }_0^{2\pi }{a}_0\cos x+a_1{\cos }^{2}x+a_2\sin x\cos x+...\\ =& a_1{\int }_0^{2\pi }{\cos }^{2}x\end{array}\text{\hspace{1em}(24)}$$
得$a_1=\frac{{\int }_0^{2\pi }f(x)\cos xdx}{\pi }$
以此类推，可以得到各个系数