1. 特征值

1.1 特征值求解思路

我们想要计算一个矩阵的特征值，一般是用如下公式：
$$\begin{array}{c}||A-\lambda I||=0\to {\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\end{array}$$
但这种方法最大的弊端是对于求解n个解的方程来说，太困难了，当n>100以后，简直无法想象，所以我们只有另辟蹊径，这时候我们想到了相似矩阵的性质，假设矩阵A相似于矩阵$B$，那么矩阵A与矩阵$B$特征值相同；
$$\begin{array}{c}||A-{\lambda }_{a}I||=||B-{\lambda }_{b}I||,B=P^{-1}AP\end{array}$$
$$\begin{array}{c}||A-{\lambda }_{a}I||=||P^{-1}AP-{\lambda }_{b}I||=||P^{-1}AP-P^{-1}{\lambda }_{b}IP||\end{array}$$
$$\begin{array}{c}||P^{-1}AP-P^{-1}{\lambda }_{b}IP||=||P^{-1}||||A-{\lambda }_{b}I||||P||=||A-{\lambda }_{b}I||\end{array}$$

• 所以得到当矩阵$A\sim B\to {\lambda }_a={\lambda }_b$
  $$\begin{array}{c}||A-{\lambda }_{b}I||=||A-{\lambda }_{b}I||\end{array}$$
  那我们的思路是如果我们对于原矩阵A无法求特征值，那就找一个与A相似的矩阵B，如果矩阵B是一个上三角矩阵$C$，那么我们对矩阵C进行$||C-\lambda I||=0$,就直接发现主对角线上的元素就是特征值，真是方便的思路。

1.2 相似矩阵构造$A_0\sim A_1$

假设我们有一个矩阵$A_0$，我们知道不管什么方法一定能够通过QR分解，且Q为正交矩阵，R为上三角矩阵。那么可得如下：
$$\begin{array}{c}{A}_0=Q_0{R}_0，Q_0^T{Q}_0=I\end{array}$$

• 我们知道，矩阵$Q_0$一定可逆，所以矩阵$A_0$左右两边分别乘以$Q_0^T,Q_0$
  $$\begin{array}{c}{Q}_0^T{A}_0{Q}_0=Q_0^T{Q}_0{R}_0{Q}_0=R_0{Q}_0\end{array}$$

• 我们发现矩阵A乘以矩阵$Q_0$后居然得到了$R_0{Q}_0$,我们定义新的矩阵$A_1=R_0{Q}_0$
  $$\begin{array}{c}{Q}_0^T{A}_0{Q}_0=A_1\to {\lambda }_{a1}={\lambda }_{a0}\end{array}$$

• 小结1：当我们不断地用正交矩阵Q处理的时候，矩阵$A_1$逐渐会变成上三角矩阵
  

• 小结2： 当我们矩阵$A_0$通过$Q_0$变换成为对角矩阵$\Lambda$
  $$\begin{array}{c}(Q_0{Q}_1\cdots Q_n{)}^T{A}_0(Q_0{Q}_1\cdots Q_n)=A_n\to {\lambda }_{a0}={\lambda }_{an}\end{array}$$

1.3 相似矩阵构造： $A_0-SI\sim A_1-SI$

• 重新构造相似矩阵$A_0\sim A_1\to A_0-SI\sim A_1-SI$是为了加快运算速度，具体证明原因暂时不知道。。。后续研究！！！

由上面可得，当我们定义$A_0=Q_0{R}_0$时，我们只需要反转$Q_0{R}_0\to R_0{Q}_0=A_1$，就能得到$A_0\sim A_1$
$$\begin{array}{c}{Q}_0^T{A}_0{Q}_0=A_1，Q_0^T{Q}_0=I\end{array}$$

• 将等式两边减去$SI$可得：
  $$\begin{array}{c}{Q}_0^T{A}_0{Q}_0-SI=A_1-SI\to Q_0^T{A}_0{Q}_0-Q_0^{T}SI{Q}_0=A_1-SI\end{array}$$
• 整理可得：
  $$\begin{array}{c}\to Q_0^T(A_0-SI)Q_0=A_1-SI\to Q_0^{-1}(A_0-SI)Q_0=A_1-SI\end{array}$$
• 整理可得：
  $$\begin{array}{c}{Q}_0^{-1}(A_0-SI)Q_0=A_1-SI\to A_0-SI\sim A_1-SI\end{array}$$

2. 特征值求解思路

鼎鼎有名的Lapack线性代数库
https://netlib.org/lapack/

3. 奇异值求解思路

同理可以用迭代法求解奇异值，思路还是一样

• 1. 通过正交矩阵$Q_0,Q_1$得到$A_0=U\Sigma V^T\to A_1=Q_0{A}_0{Q}_2=(Q_{0}U)\Sigma (V^T{Q}_2)$
• 2. 最后得到$A_n$为上双对角矩阵
• 3. 将$A_n\to A_n-SI$后进行QR迭代
• 4. 得到最后的 ${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n$

4. krylov 空间

直接引用大神的笔记，具体后续整理