舒尔补
设 M \mathbf{M} M是一个 n × n n\times n n×n的矩阵
M = ( A B C D ) \mathbf{M}=\begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix} M=(ACBD)
其中
A \mathbf{A} A是 p × p p\times p p×p维矩阵，
D \mathbf{D} D是 q × q q\times q q×q维矩阵，
B \mathbf{B} B是 p × q p\times q p×q维矩阵，
C \mathbf{C} C是 q × p q\times p q×p维矩阵，
n = p + q n=p+q n=p+q
考虑线性方程组
( A B C D ) ( x y ) = ( c d ) \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}\begin{pmatrix} \mathbf{x}\\ \mathbf{y}\\ \end{pmatrix}=\begin{pmatrix} \mathbf{c}\\ \mathbf{d}\\ \end{pmatrix} (ACBD)(xy)=(cd)
假设 D \mathbf{D} D可逆
y = D − 1 ( d − C x ) \mathbf{y}=\mathbf{D}^{-1}\left(\mathbf{d}-\mathbf{Cx}\right) y=D−1(d−Cx)
然后代回去
A x + B ( D − 1 ( d − C x ) ) = c \mathbf{Ax}+\mathbf{B}\left(\mathbf{D}^{-1}\left(\mathbf{d}-\mathbf{Cx}\right)\right)=\mathbf{c} Ax+B(D−1(d−Cx))=c
整理一下
( A − B D − 1 C ) x = c − B D − 1 d \left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)\mathbf{x}=\mathbf{c}-\mathbf{B}\mathbf{D}^{-1}\mathbf{d} (A−BD−1C)x=c−BD−1d
假设 A − B D − 1 C \mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C} A−BD−1C可逆，则
x = ( A − B D − 1 C ) − 1 ( c − B D − 1 d ) y = D − 1 ( d − C ( A − B D − 1 C ) − 1 ( c − B D − 1 d ) ) \begin{aligned} \mathbf{x} &=\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}\left(\mathbf{c}-\mathbf{B}\mathbf{D}^{-1}\mathbf{d}\right)\\ \mathbf{y}&=\mathbf{D}^{-1}\left(\mathbf{d}-\mathbf{C}\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}\left(\mathbf{c}-\mathbf{B}\mathbf{D}^{-1}\mathbf{d}\right)\right) \end{aligned} xy=(A−BD−1C)−1(c−BD−1d)=D−1(d−C(A−BD−1C)−1(c−BD−1d))
A − B D − 1 C \mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C} A−BD−1C称为 D \mathbf{D} D在 M \mathbf{M} M中的舒尔补
类似的， D − C A − 1 B \mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B} D−CA−1B称为 A \mathbf{A} A在 M \mathbf{M} M中的舒尔补
接着我们整理一下
x = ( A − B D − 1 C ) − 1 c − ( A − B D − 1 C ) − 1 B D − 1 d y = − D − 1 C ( A − B D − 1 C ) − 1 c + ( D − 1 + D − 1 C ( A − B D − 1 C ) − 1 B D − 1 ) d \begin{aligned} \mathbf{x}&=\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}\mathbf{c}-\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}\mathbf{B}\mathbf{D}^{-1}\mathbf{d}\\ \mathbf{y}&=-\mathbf{D}^{-1}\mathbf{C}\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}\mathbf{c}+\left(\mathbf{D}^{-1}+\mathbf{D}^{-1}\mathbf{C}\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}\mathbf{B}\mathbf{D}^{-1}\right)\mathbf{d} \end{aligned} xy=(A−BD−1C)−1c−(A−BD−1C)−1BD−1d=−D−1C(A−BD−1C)−1c+(D−1+D−1C(A−BD−1C)−1BD−1)d
因为 ( x y ) = ( A B C D ) − 1 ( c d ) \begin{pmatrix} \mathbf{x}\\ \mathbf{y}\\ \end{pmatrix}=\begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}^{-1}\begin{pmatrix} \mathbf{c}\\ \mathbf{d}\\ \end{pmatrix} (xy)=(ACBD)−1(cd)
所以
( A B C D ) − 1 = ( ( A − B D − 1 C ) − 1 − ( A − B D − 1 C ) − 1 B D − 1 − D − 1 C ( A − B D − 1 C ) − 1 D − 1 + D − 1 C ( A − B D − 1 C ) − 1 B D − 1 ) \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}^{-1}=\begin{pmatrix} \left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}&-\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}\mathbf{B}\mathbf{D}^{-1}\\ -\mathbf{D}^{-1}\mathbf{C}\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}&\mathbf{D}^{-1}+\mathbf{D}^{-1}\mathbf{C}\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}\mathbf{B}\mathbf{D}^{-1} \end{pmatrix} (ACBD)−1=((A−BD−1C)−1−D−1C(A−BD−1C)−1−(A−BD−1C)−1BD−1D−1+D−1C(A−BD−1C)−1BD−1)
整理一下
( A B C D ) − 1 = ( ( A − B D − 1 C ) − 1 0 − D − 1 C ( A − B D − 1 C ) − 1 D − 1 ) ( I − B D − 1 0 I ) \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}^{-1}=\begin{pmatrix} \left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}&0\\ -\mathbf{D}^{-1}\mathbf{C}\left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}&\mathbf{D}^{-1} \end{pmatrix}\begin{pmatrix} \mathbf{I}&-\mathbf{B}\mathbf{D}^{-1}\\ 0&\mathbf{I}\\ \end{pmatrix} (ACBD)−1=((A−BD−1C)−1−D−1C(A−BD−1C)−10D−1)(I0−BD−1I)
然后
( A B C D ) − 1 = ( I 0 − D − 1 C I ) ( ( A − B D − 1 C ) − 1 0 0 D − 1 ) ( I − B D − 1 0 I ) \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}^{-1}=\begin{pmatrix} \mathbf{I}&0\\ -\mathbf{D}^{-1}\mathbf{C}&\mathbf{I} \end{pmatrix} \begin{pmatrix} \left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}&0\\ 0&\mathbf{D}^{-1} \end{pmatrix}\begin{pmatrix} \mathbf{I}&-\mathbf{B}\mathbf{D}^{-1}\\ 0&\mathbf{I}\\ \end{pmatrix} (ACBD)−1=(I−D−1C0I)((A−BD−1C)−100D−1)(I0−BD−1I)
于是
( A B C D ) = ( I B D − 1 0 I ) ( A − B D − 1 C 0 0 D ) ( I 0 D − 1 C I ) \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}=\begin{pmatrix} \mathbf{I}&\mathbf{B}\mathbf{D}^{-1}\\ 0&\mathbf{I} \end{pmatrix} \begin{pmatrix} \mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}&0\\ 0&\mathbf{D} \end{pmatrix}\begin{pmatrix} \mathbf{I}&0\\ \mathbf{D}^{-1}\mathbf{C}&\mathbf{I}\\ \end{pmatrix} (ACBD)=(I0BD−1I)(A−BD−1C00D)(ID−1C0I)
(注意到上面这个式子，只要 D \mathbf{D} D可逆就成立，并不需要 A − B D − 1 C \mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C} A−BD−1C可逆)
如果 A \mathbf{A} A可逆，则
( A B C D ) = ( I 0 C A − 1 I ) ( A 0 0 D − C A − 1 B ) ( I A − 1 B 0 I ) \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}=\begin{pmatrix} \mathbf{I}&0\\ \mathbf{C}\mathbf{A}^{-1}&\mathbf{I} \end{pmatrix} \begin{pmatrix} \mathbf{A}&0\\ 0&\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B} \end{pmatrix}\begin{pmatrix} \mathbf{I}&\mathbf{A}^{-1}\mathbf{B}\\ 0&\mathbf{I}\\ \end{pmatrix} (ACBD)=(ICA−10I)(A00D−CA−1B)(I0A−1BI)
如果 A \mathbf{A} A可逆，且 D − C A − 1 B \mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B} D−CA−1B可逆，则
( A B C D ) − 1 = ( A − 1 + A − 1 B ( D − C A − 1 B ) − 1 C A − 1 − A − 1 B ( D − C A − 1 B ) − 1 − ( D − C A − 1 B ) − 1 C A − 1 ( D − C A − 1 B ) − 1 ) \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}^{-1}=\begin{pmatrix} \mathbf{A}^{-1}+\mathbf{A}^{-1}\mathbf{B}\left(\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B}\right)^{-1}\mathbf{C}\mathbf{A}^{-1}&-\mathbf{A}^{-1}\mathbf{B}\left(\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B}\right)^{-1}\\ -\left(\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B}\right)^{-1}\mathbf{C}\mathbf{A}^{-1}&\left(\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B}\right)^{-1}\\ \end{pmatrix} (ACBD)−1=(A−1+A−1B(D−CA−1B)−1CA−1−(D−CA−1B)−1CA−1−A−1B(D−CA−1B)−1(D−CA−1B)−1)
如果 A , D \mathbf{A},\mathbf{D} A,D以及他们的舒尔补 A − B D − 1 C , D − C A − 1 B \mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C},\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B} A−BD−1C,D−CA−1B都可逆，对照一下 ( A B C D ) − 1 \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}^{-1} (ACBD)−1,有
( A − B D − 1 C ) − 1 = A − 1 + A − 1 B ( D − C A − 1 B ) − 1 C A − 1 \left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}=\mathbf{A}^{-1}+\mathbf{A}^{-1}\mathbf{B}\left(\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B}\right)^{-1}\mathbf{C}\mathbf{A}^{-1} (A−BD−1C)−1=A−1+A−1B(D−CA−1B)−1CA−1
于是
( A B C D ) − 1 = ( ( A − B D − 1 C ) − 1 − A − 1 B ( D − C A − 1 B ) − 1 − ( D − C A − 1 B ) − 1 C A − 1 ( D − C A − 1 B ) − 1 ) \begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{C}&\mathbf{D} \end{pmatrix}^{-1}=\begin{pmatrix} \left(\mathbf{A}-\mathbf{B}\mathbf{D}^{-1}\mathbf{C}\right)^{-1}&-\mathbf{A}^{-1}\mathbf{B}\left(\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B}\right)^{-1}\\ -\left(\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B}\right)^{-1}\mathbf{C}\mathbf{A}^{-1}&\left(\mathbf{D}-\mathbf{C}\mathbf{A}^{-1}\mathbf{B}\right)^{-1}\\ \end{pmatrix} (ACBD)−1=((A−BD−1C)−1−(D−CA−1B)−1CA−1−A−1B(D−CA−1B)−1(D−CA−1B)−1)
对称矩阵
命题1
M \mathbf{M} M是对称矩阵
M = ( A B B T C ) \mathbf{M}=\begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{B}^T&\mathbf{C} \end{pmatrix} M=(ABTBC)
并且 C \mathbf{C} C可逆，则
(1) M ≻ 0 \mathbf{M}\succ 0 M≻0 当且仅当 C ≻ 0 , A − B C − 1 B T ≻ 0 \mathbf{C}\succ0,\mathbf{A}-\mathbf{B}\mathbf{C}^{-1}\mathbf{B}^T\succ 0 C≻0,A−BC−1BT≻0
(2)如果 C ≻ 0 \mathbf{C}\succ 0 C≻0，则 M ⪰ 0 \mathbf{M}\succeq 0 M⪰0 当且仅当 A − B C − 1 B T ⪰ 0 \mathbf{A}-\mathbf{B}\mathbf{C}^{-1}\mathbf{B}^T\succeq 0 A−BC−1BT⪰0
证明：
M = ( A B B T C ) = ( I B C − 1 0 I ) ( A − B C − 1 B T 0 0 C ) ( I 0 C − 1 B T I ) \mathbf{M}=\begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{B}^T&\mathbf{C} \end{pmatrix}=\begin{pmatrix} \mathbf{I}&\mathbf{B}\mathbf{C}^{-1}\\ 0&\mathbf{I} \end{pmatrix} \begin{pmatrix} \mathbf{A}-\mathbf{B}\mathbf{C}^{-1}\mathbf{B}^T&0\\ 0&\mathbf{C} \end{pmatrix}\begin{pmatrix} \mathbf{I}&0\\ \mathbf{C}^{-1}\mathbf{B}^T&\mathbf{I}\\ \end{pmatrix} M=(ABTBC)=(I0BC−1I)(A−BC−1BT00C)(IC−1BT0I)
令
T = ( A − B C − 1 B T 0 0 C ) \mathbf{T}=\begin{pmatrix} \mathbf{A}-\mathbf{B}\mathbf{C}^{-1}\mathbf{B}^T&0\\ 0&\mathbf{C} \end{pmatrix} T=(A−BC−1BT00C)
N = ( I B C − 1 0 I ) \mathbf{N}=\begin{pmatrix} \mathbf{I}&\mathbf{B}\mathbf{C}^{-1}\\ 0&\mathbf{I} \end{pmatrix} N=(I0BC−1I)
于是
M = N T N T \mathbf{M}=\mathbf{N}\mathbf{T}\mathbf{N}^{T} M=NTNT
(1)
C ≻ 0 , A − B C − 1 B T ≻ 0 ⇔ T ≻ 0 \mathbf{C}\succ0,\mathbf{A}-\mathbf{B}\mathbf{C}^{-1}\mathbf{B}^T\succ 0 \Leftrightarrow \mathbf{T}\succ0 C≻0,A−BC−1BT≻0⇔T≻0
注意到 N \mathbf{N} N可逆，
于是
M ≻ 0 ⇔ T ≻ 0 ⇔ C ≻ 0 , A − B C − 1 B T ≻ 0 \mathbf{M}\succ 0\Leftrightarrow \mathbf{T}\succ0 \Leftrightarrow \mathbf{C}\succ0,\mathbf{A}-\mathbf{B}\mathbf{C}^{-1}\mathbf{B}^T\succ 0 M≻0⇔T≻0⇔C≻0,A−BC−1BT≻0
(2)
如果 C ≻ 0 \mathbf{C}\succ0 C≻0,则
A − B C − 1 B T ⪰ 0 ⇔ T ⪰ 0 \mathbf{A}-\mathbf{B}\mathbf{C}^{-1}\mathbf{B}^T\succeq 0 \Leftrightarrow \mathbf{T}\succeq 0 A−BC−1BT⪰0⇔T⪰0
于是
M ⪰ 0 ⇔ A − B C − 1 B T ⪰ 0 \mathbf{M}\succeq 0\Leftrightarrow \mathbf{A}-\mathbf{B}\mathbf{C}^{-1}\mathbf{B}^T\succeq 0 M⪰0⇔A−BC−1BT⪰0
命题2
M \mathbf{M} M是对称矩阵
M = ( A B B T C ) \mathbf{M}=\begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{B}^T&\mathbf{C} \end{pmatrix} M=(ABTBC)
并且 A \mathbf{A} A可逆，则
(1) M ≻ 0 \mathbf{M}\succ 0 M≻0 当且仅当 A ≻ 0 , C − B T A − 1 B ≻ 0 \mathbf{A}\succ0,\mathbf{C}-\mathbf{B}^T\mathbf{A}^{-1}\mathbf{B}\succ 0 A≻0,C−BTA−1B≻0
(2)如果 A ≻ 0 \mathbf{A}\succ 0 A≻0，则 M ⪰ 0 \mathbf{M}\succeq 0 M⪰0 当且仅当 C − B T A − 1 B ⪰ 0 \mathbf{C}-\mathbf{B}^T\mathbf{A}^{-1}\mathbf{B}\succeq 0 C−BTA−1B⪰0
证明：
M = ( A B B T C ) = ( I 0 B T A − 1 I ) ( A 0 0 C − B T A − 1 B ) ( I A − 1 B 0 I ) \mathbf{M}=\begin{pmatrix} \mathbf{A}&\mathbf{B}\\ \mathbf{B}^T&\mathbf{C} \end{pmatrix}=\begin{pmatrix} \mathbf{I}&0\\ \mathbf{B}^T\mathbf{A}^{-1}&\mathbf{I} \end{pmatrix} \begin{pmatrix} \mathbf{A}&0\\ 0&\mathbf{C}-\mathbf{B}^T\mathbf{A}^{-1}\mathbf{B} \end{pmatrix}\begin{pmatrix} \mathbf{I}&\mathbf{A}^{-1}\mathbf{B}\\ 0&\mathbf{I}\\ \end{pmatrix} M=(ABTBC)=(IBTA−10I)(A00C−BTA−1B)(I0A−1BI)
令
T = ( A 0 0 C − B T A − 1 B ) \mathbf{T}=\begin{pmatrix} \mathbf{A}&0\\ 0&\mathbf{C}-\mathbf{B}^T\mathbf{A}^{-1}\mathbf{B} \end{pmatrix} T=(A00C−BTA−1B)
N = ( I 0 B T A − 1 I ) \mathbf{N}=\begin{pmatrix} \mathbf{I}&0\\ \mathbf{B}^T\mathbf{A}^{-1}&\mathbf{I} \end{pmatrix} N=(IBTA−10I)
于是
M = N T N T \mathbf{M}=\mathbf{N}\mathbf{T}\mathbf{N}^{T} M=NTNT
后面证明跟命题1类似了
