《机器学习数学基础》第2章2.3.1节阐述了可逆矩阵的定义、性质，并演示了Python中的计算函数及其应用。

本文是对书中这部分内容的补充，主要是说明如何用手工计算的方法得到常用矩阵的逆矩阵（如果可逆）。

若一个矩阵存在逆矩阵，则称之为可逆矩阵，或者非奇异矩阵。

并不是所有的矩阵都是可逆矩阵。

以下内容主要参考 [5]。

1. 2 阶逆矩阵公式

设 $A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$ 是 $2\times 2$ 可逆矩阵，则其逆矩阵公式：

$$A^{-1}=\frac{1}{ad-bc}\left[\begin{array}{cc}d& -b\\ -c& a\end{array}\right]$$

1.1 方法1：化简增广矩阵

其推导过程如下：

$$\begin{array}{rl}\left[\begin{array}{cccc}a& b& 1& 0\\ c& d& 0& 1\end{array}\right]& \to \left[\begin{array}{cccc}a& b& 1& 0\\ 0& ad-bc& -c& a\end{array}\right]\\ & \to \left[\begin{array}{cccc}a& b& 1& 0\\ 0& 1& \frac{-c}{ad-bc}& \frac{a}{ad-bc}\end{array}\right]\\ & \to \left[\begin{array}{cccc}a& 0& \frac{ad}{ad-bc}& \frac{-ab}{ad-bc}\\ 0& 1& \frac{-c}{ad-bc}& \frac{a}{ad-bc}\end{array}\right]\\ & \to \left[\begin{array}{cccc}1& 0& \frac{d}{ad-bc}& \frac{-b}{ad-bc}\\ 0& 1& \frac{-c}{ad-bc}& \frac{a}{ad-bc}\end{array}\right]\end{array}$$

故，矩阵 $A$ 可逆的充要条件是 $|A|=ad-bc\ne 0$ 。

1.2 方法2：伴随矩阵

设 $X=\left[\begin{array}{cc}{x}_{11}& x_{12}\\ x_{21}& x_{22}\end{array}\right]$ 是矩阵 $A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$ 的逆矩阵，则 $AX=I_2$ ，即：

$$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{cc}{x}_{11}& x_{12}\\ x_{21}& x_{22}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$

根据矩阵乘法的含义${}^{[1]}$，可得：

$$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}{x}_{11}\\ x_{21}\end{array}\right]=\left[\begin{array}{c}1\\ 0\end{array}\right]，\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}{x}_{12}\\ x_{22}\end{array}\right]=\left[\begin{array}{c}0\\ 1\end{array}\right]$$

利用克拉默法则${}^{[2]}$ ，可以解得：

$$x_{11}=\frac{\left|\begin{array}{cc}1& b\\ 0& d\end{array}\right|}{\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|}=\frac{d}{ad-bc}$$

$$x_{21}=\frac{\left|\begin{array}{cc}a& 1\\ c& 0\end{array}\right|}{\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|}=\frac{-c}{ad-bc}$$

$$x_{12}=\frac{\left|\begin{array}{cc}0& b\\ 1& d\end{array}\right|}{\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|}=\frac{-b}{ad-bc}$$

$$x_{22}=\frac{\left|\begin{array}{cc}a& 0\\ c& 1\end{array}\right|}{\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|}=\frac{a}{ad-bc}$$

1.3 方法3：凯莱-哈密顿定理

根据凯莱-哈密顿定理，对 $n$ 阶方阵，特征多项式为 $p(\lambda )=det(A-\lambda I)$ （ $det(\cdot )$ 表示行列式，与 $|\cdot |$ 含义一样），有 $p(A)=0$ $ ${}^{[3]}$。

对矩阵 $A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$ ，其特征多项式：

$$\begin{array}{rl}p(\lambda )& =\left|\begin{array}{cc}a-\lambda & b\\ c& d-\lambda \end{array}\right|\\ & ={\lambda }^2-(a+d)\lambda +(ad-bc)\\ & ={\lambda }^2-Tr(A)\lambda +|A|\end{array}$$

根据凯莱-哈密顿定理，有：

$$p(A)=A^2-Tr(A)A+|A|I_2=0$$

上式乘以 $\frac{1}{|A|}{A}^{-1}$ ，得：

$$\frac{1}{|A|}{A}^2{A}^{-1}-\frac{1}{|A|}Tr(A)A{A}^{-1}+\frac{1}{|A|}|A|I_2{A}^{-1}=0$$

$$\frac{1}{|A|}A-\frac{1}{|A|}Tr(A)I_2+I_2{A}^{-1}=0$$

因为 $I_2{A}^{-1}=A^{-1}$ ，则由上式可得：

$$\begin{array}{rl}{A}^{-1}& =\frac{1}{|A|}(-A+Tr(A)I_2)\\ & =\frac{1}{|A|}\left(-\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]+(a+d)\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\right)\\ & =\frac{1}{|A|}\left[\begin{array}{cc}d& -b\\ -c& a\end{array}\right]\end{array}$$

2. 3 阶逆矩阵公式

2.1 方法1：化简增广矩阵

与前述 $2$ 阶方法一样。

2.2 方法2：伴随矩阵

设 $A=[a_{ij}{]}_{m\times n}$ 的伴随矩阵（adjugate）$adjA$ ，各元素为 $(adjA{)}_{ij}=(-1{)}^{i+j}det{\tilde{A}}_{ji}$ ，其中 ${\tilde{A}}_{ji}$ 表示移除 $A$ 的第 $j$ 行与第 $i$ 列之后得到的 $(n-1)\times (n-1)$ 子阵，$det{\tilde{A}}_{ji}$ 为余子式（minor），$(-1{)}^{i+j}det{\tilde{A}}_{ji}$ 称为 $a_{ji}$ 的余子式。

伴随矩阵的等式${}^{[4]}$：

$$A(adjA)=(detA)I_n$$

上式两边乘以 $\frac{1}{|A|}{A}^{-1}$ ，得：

$$A^{-1}=\frac{1}{|A|}adjA$$

以 $2\times 2$ 矩阵为例，则可以得到 $A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$ 的逆矩阵：

$$A^{-1}=\frac{1}{|A|}\left[\begin{array}{cc}{\tilde{A}}_{11}& -{\tilde{A}}_{21}\\ -{\tilde{A}}_{12}& {\tilde{A}}_{22}\end{array}\right]=\frac{1}{|A|}\left[\begin{array}{cc}d& -b\\ -c& a\end{array}\right]$$

对于 $3\times 3$ 的矩阵，则为：

$$A^{-1}={\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]}^{-1}=\frac{1}{|A|}\left[\begin{array}{cc}\left|\begin{array}{cc}{a}_{22}& a_{23}\\ a_{32}& a_{33}\end{array}\right|-\left|\begin{array}{cc}{a}_{12}& a_{13}\\ a_{32}& a_{33}\end{array}\right|& \left|\begin{array}{cc}{a}_{12}& a_{13}\\ a_{22}& a_{23}\end{array}\right|\\ -\left|\begin{array}{cc}{a}_{21}& a_{23}\\ a_{31}& a_{33}\end{array}\right|& \left|\begin{array}{cc}{a}_{11}& a_{13}\\ a_{31}& a_{33}\end{array}\right|-\left|\begin{array}{cc}{a}_{11}& a_{13}\\ a_{21}& a_{23}\end{array}\right|\\ \left|\begin{array}{cc}{a}_{21}& a_{22}\\ a_{31}& a_{32}\end{array}\right|-\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{31}& a_{32}\end{array}\right|& \left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|\end{array}\right]$$

方法3：凯莱-哈密顿定理

参照前述 $2$ 阶矩阵的方法，可以写出 $3$ 阶矩阵的特征多项式

$$\begin{array}{rl}p(\lambda )& =\left|\begin{array}{ccc}{a}_{11}-\lambda & a_{12}& a_{13}\\ a_{21}& a_{22}-\lambda & a_{23}\\ a_{31}& a_{32}& a_{33}-\lambda \end{array}\right|\\ & =-{\lambda }^3+(a_{11}+a_{22}+a_{33}){\lambda }^2-\left(\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|+\left|\begin{array}{cc}{a}_{11}& a_{13}\\ a_{31}& a_{33}\end{array}\right|+\left|\begin{array}{cc}{a}_{22}& a_{23}\\ a_{32}& a_{33}\end{array}\right|\right)\lambda +\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|\\ & =-{\lambda }^3+Tr(A){\lambda }^2-\left(\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|+\left|\begin{array}{cc}{a}_{11}& a_{13}\\ a_{31}& a_{33}\end{array}\right|+\left|\begin{array}{cc}{a}_{22}& a_{23}\\ a_{32}& a_{33}\end{array}\right|\right)\lambda +|A|\end{array}$$

令 ${\lambda }_1,{\lambda }_2,{\lambda }_3$ 为 $A$ 的特征值，因为这些特征值是特征多项式（上式）的跟，所以：

$$\begin{array}{rl}p(\lambda )& =-(\lambda -{\lambda }_1)(\lambda -{\lambda }_2)(\lambda -{\lambda }_3)\\ & =-{\lambda }^3+({\lambda }_1+{\lambda }_2+{\lambda }_3){\lambda }^2-({\lambda }_1{\lambda }_2+{\lambda }_1{\lambda }_3+{\lambda }_2{\lambda }_3)\lambda +{\lambda }_1{\lambda }_2{\lambda }_3\end{array}$$

因为 $Tr(A)={\lambda }_1+{\lambda }_2+{\lambda }_3$ ，$Tr(A^2)={\lambda }_1^2+{\lambda }_2^2+{\lambda }_3^2$ （参阅《机器学习数学基础》第3章3.1.2节矩阵的迹），则：

$${\lambda }_1{\lambda }_2+{\lambda }_1{\lambda }_3+{\lambda }_2{\lambda }_3=\frac{({\lambda }_1+{\lambda }_2+{\lambda }_3{)}^2-({\lambda }_1^2+{\lambda }_2^2+{\lambda }_3^2)}{2}=\frac{[Tr(A){]}^2-Tr(A^2)}{2}$$

又因为 $|A|={\lambda }_1{\lambda }_2{\lambda }_3$ ，根据凯莱-哈密顿定理：

$$p(A)=-A^3+Tr(A)A^2-\frac{[Tr(A){]}^2-Tr(A^2)}{2}A+|A|I_3=0$$

上式乘以 $\frac{1}{|A|}{A}^{-1}$ ，得到 $3\times 3$ 矩阵的逆矩阵的矩阵多项式：

$$A^{-1}=\frac{1}{|A|}\left(A^2-Tr(A)A+\frac{[Tr(A){]}^2-Tr(A^2)}{2}{I}_3\right)$$

同时，可以计算 $A$ 的伴随矩阵：

$$adjA=A^2-Tr(A)+\frac{[Tr(A){]}^2-Tr(A^2)}{2}{I}_3$$

3. 可逆矩阵定理和性质总结

3.1 定理

令 $A$ 是一个 $n\times n$ 的实矩阵，则以下表述对于可逆矩阵 $A$ 是等价的：

1. $A$ 是可逆的，或者说存在 $A^{-1}$ 满足 $A^{-1}A=I_n$ ，$I_n$ 是 $n$ 阶单位矩阵。

2. $Ax=0$ 仅有平凡解 $x=0$ 。

   证明：

   若 $A$ 可逆，对于 $Ax=0$ 两侧左乘 $A^{-1}$ 。左侧得：$A^{-1}Ax=Ix=x$ ；右侧为：$A^{-1}0=0$ 。故 $x=0$ 。

3. $Ax=b$ 有唯一解 $x=A^{-1}b$ 。

   证明：

   假设此方程有两个相异的解 $u$ 和 $v$ ，由已知方程式，可知：

   $A(u-v)=Au-Av=b-b=0$

   即非平凡解满足 $Ax=0$ 。故 $Ax=b$ 有唯一解。

4. $A$​ 有 $n$​ 个非零主元（pivot）。

5. $A$ 的简约行梯形式（reduced row echelon form）为 $I_n$ ，或者说 $A$ 行等价于 $I_n$ 。

   证明

   由第3条唯一解知，增广矩阵 $\left[\begin{array}{cc}A& b\end{array}\right]$ 可化简为 $\left[\begin{array}{cc}I& A^{-1}b\end{array}\right]$ ，即：

   $A^{-1}\left[\begin{array}{cc}A& b\end{array}\right]=\left[\begin{array}{cc}{A}^{-1}A& A^{-1}b\end{array}\right]=\left[\begin{array}{cc}I& A^{-1}b\end{array}\right]$

6. $A$ 有线性无关的列向量 (column vector)。

   证明

   设 $\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]$ 为 $A$ 的列向量，则：

   $\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right]=x_1{a}_1+\cdots +x_n{a}_n=0$

   如果满足第2条定理，则 $\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]$ 各列向量线性无关。

7. $A$ 有线性无关的行向量 (row vector)。

   证明

   假设 $A$ 的行向量线性相关，其中必定存在至少一行可表示其他行的線性組合，也就是说对 $A$ 进行高斯消元法将会至少有一个零行，于是总的轴数就小于 $n$ 。这与第4条定理矛盾。假设不成立。

8. $\mathrm{rank}A=n$​ 。

9. $A$ 的列空間 (column space) 为 ${\mathbb{R}}^n$ 或者说线性变换 $A:{\mathbb{R}}^n\to {\mathbb{R}}^n$ 是满射（onto，surjective）。

10. $A$ 的行空間 (row space) 为 ${\mathbb{R}}^n$ 。

11. $A$ 的零空間 (nullspace) 为 { 0 } \{\pmb{0}\} {0} ，或者说线性变换 $A:{\mathbb{R}}^n\to {\mathbb{R}}^n$ 是一对一（one-to-one，injective）。

12. $A^{\mathrm{T}}$ 的零空間为 { 0 } \{\pmb{0}\} {0} 。

13. $\det A\ne 0$​ 。

14. $A$ 的特征值不为零。

15. $A^{\mathrm{T}}A$ 是实对称正定矩阵。

16. $A$ 的奇异值（sigular value）大于零。

参考文献

[1]. 对矩阵乘法的深入理解

[2]. 克拉默法则

[3]. https://zh.wikipedia.org/wiki/凱萊–哈密頓定理

[4]. https://zh.wikipedia.org/wiki/伴随矩阵

[5]. https://ccjou.wordpress.com/2012/10/04/三階逆矩陣公式/