线性代数|机器学习-P13计算特征值和奇异值

1. 特征值

1.1 特征值求解思路

我们想要计算一个矩阵的特征值，一般是用如下公式：
$$\begin{array}{c}||A-\lambda I||=0\to {\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\end{array}$$
但这种方法最大的弊端是对于求解n个解的方程来说，太困难了，当n>100以后，简直无法想象，所以我们只有另辟蹊径，这时候我们想到了相似矩阵的性质，假设矩阵A相似于矩阵$B$，那么矩阵A与矩阵$B$特征值相同；
$$\begin{array}{c}||A-{\lambda }_{a}I||=||B-{\lambda }_{b}I||,B=P^{-1}AP\end{array}$$
$$\begin{array}{c}||A-{\lambda }_{a}I||=||P^{-1}AP-{\lambda }_{b}I||=||P^{-1}AP-P^{-1}{\lambda }_{b}IP||\end{array}$$
$$\begin{array}{c}||P^{-1}AP-P^{-1}{\lambda }_{b}IP||=||P^{-1}||||A-{\lambda }_{b}I||||P||=||A-{\lambda }_{b}I||\end{array}$$

• 所以得到当矩阵$A\sim B\to {\lambda }_a={\lambda }_b$
  $$\begin{array}{c}||A-{\lambda }_{b}I||=||A-{\lambda }_{b}I||\end{array}$$
  那我们的思路是如果我们对于原矩阵A无法求特征值，那就找一个与A相似的矩阵B，如果矩阵B是一个上三角矩阵$C$，那么我们对矩阵C进行$||C-\lambda I||=0$,就直接发现主对角线上的元素就是特征值，真是方便的思路。

1.1 相似矩阵构造

假设我们有一个矩阵$A_0$，我们知道不管什么方法一定能够通过QR分解，且Q为正交矩阵，R为上三角矩阵。那么可得如下：
$$\begin{array}{c}{A}_0=Q_0{R}_0，Q_0^T{Q}_0=I\end{array}$$

• 我们知道，矩阵$Q_0$一定可逆，所以矩阵$A_0$左右两边分别乘以$Q_0^T,Q_0$
  $$\begin{array}{c}{Q}_0^T{A}_0{Q}_0=Q_0^T{Q}_0{R}_0{Q}_0=R_0{Q}_0\end{array}$$
• 我们发现矩阵A乘以矩阵$Q_0$后居然得到了$R_0{Q}_0$,我们定义新的矩阵$A_1=R_0{Q}_0$
  $$\begin{array}{c}{Q}_0^T{A}_0{Q}_0=A_1\to {\lambda }_{a1}={\lambda }_{a0}\end{array}$$
• 小结1： 当我们矩阵$A_0$通过