线性代数 广泛应用在计算机专业的各个领域。由于是大一学的课,现在对矩阵的反应已经大不如前。

本文章旨在温故线性代数,总结经典定理和证明,提供给自己和读者一个快速复健的平台。

线性空间

设 VV 是一个非空集合,FF 是一个域,在 VV 和 F×VF \times V 上定义 加法 和 数乘 两种运算。

  • ⟨V:+⟩\langle V:+\rangle 是一个交换群(加法群),我们把其单位元记作 0\mathbf{0}。
  • 对于 ∀α,β∈V\forall \alpha,\beta \in V, ∀λ,μ∈F\forall \lambda,\mu \in F 以及域 FF 的乘法单位元 1\mathbf{1},有:
    • 1α=α\mathbf{1}\alpha=\alpha
    • λ(μα)=(λμ)α\lambda(\mu\alpha)=(\lambda\mu)\alpha
    • (λ+μ)α=λα+μβ(\lambda+\mu)\alpha=\lambda\alpha+\mu\beta
    • λ(α+β)=λα+λβ\lambda(\alpha+\beta)=\lambda\alpha+\lambda\beta

则称 VV 对于上述两种运算在域 FF 上构成一个 线性空间,记作 V(F)V(F)。

设 WW 是线性空间 V(F)V(F) 的一个非空子集,如果 WW 对 VV 中的运算也构成 FF 的线性空间,则称 WW 为 VV 的 线性子空间。WW 是子空间的充分必要条件是 WW 对 V(F)V(F) 的线性运算封闭。

设 WW 是线性空间 V(F)V(F) 的一个非空子集,定义 L(W)L(W) 为 WW 中所有有限子集在域 FF 上的一切线性组合所构成的集合,此过程被称为 WW 的 线性扩张。显然 L(W)L(W) 是 VV 中包含 WW 的最小子空间。

设 V(F)V(F) 是一个线性空间,α1,α2,…,αm∈V\pmb{\alpha}_1,\pmb{\alpha}_2,\dots,\pmb{\alpha}_m \in V,如果存在不全为 00 的 λ1,λ2,…,λm∈F\lambda_1,\lambda_2,\dots,\lambda_m \in F,使得

λ1α1+λ2α2+⋯+λmαm=0\lambda_1\pmb{\alpha}_1+\lambda_2\pmb{\alpha}_2+\dots+\lambda_m \pmb{\alpha}_m=\pmb{0}

则称 α1,α2,…,αm\pmb{\alpha}_1,\pmb{\alpha}_2,\dots,\pmb{\alpha}_m 线性相关,否则称为 线性无关。

若向量组 {α1,α2,…,αn}\{\pmb{\alpha}_1,\pmb{\alpha}_2,\dots,\pmb{\alpha}_n\} 线性无关,{β,α1,α2,…,αn}\{\pmb{\beta},\pmb{\alpha}_1,\pmb{\alpha}_2,\dots,\pmb{\alpha}_n \} 线性相关,则 β\pmb{\beta} 可被 {α1,…,αn}\{\pmb{\alpha}_1,\dots,\pmb{\alpha}_n\} 唯一表示。

在线性空间 V(F)V(F) 里,若 VV 的有限子集 B={β,α1,α2,…,αn}B=\{\pmb{\beta},\pmb{\alpha}_1,\pmb{\alpha}_2,\dots,\pmb{\alpha}_n \} 线性无关且 L(B)=VL(B)=V,则称 BB 是 VV 的一组 基,∣B∣|B| 是 VV 的 维度。如果 BB 是对于 V(F)V(F) 的一个子集 SS 而言的,记 ∣B∣|B| 为 SS 的 秩。

设 W1,W2W_1,W_2 是线性空间 V(F)V(F) 的两个子空间,定义子空间的 交 与 和 为:

W1∩W2={α∣α∈W1∧α∈W2}W1+W2={α∣α=α1+α2,α1∈W1,α2∈W2}W_1 \cap W_2 = \{\pmb{\alpha}|\pmb{\alpha} \in W_1 \land \pmb{\alpha} \in W_2\}\\ W_1+W_2=\{\pmb{\alpha}|\pmb{\alpha}=\pmb{\alpha}_1+\pmb{\alpha}_2,\pmb{\alpha}_1 \in W_1 , \pmb{\alpha}_2 \in W_2\}

注意子空间的 交 与 和 依然是子空间。此外,子空间交与和还满足 维度公式:

dim⁡W1+dim⁡W2=dim⁡(W1+W2)+dim⁡(W1∩W2)\dim W_1+\dim W_2=\dim(W_1+W_2)+\dim(W_1 \cap W_2)

若 W1∩W2={0}W_1 \cap W_2=\{\pmb{0}\},则 W1+W2W_1+W_2 也被称为 W1W_1 和 W2W_2 的 直和,记为 W1⊕W2W_1 \oplus W_2。

已知 B={α1,α2,…,αn}B=\{\pmb{\alpha}_1,\pmb{\alpha}_2,\dots,\pmb{\alpha}_n\} 是 nn 维欧式空间的一组基,则可以用 Schmidt 正交化 构出一组 单位正交基。

线性映射

从线性空间 V1(F)V_1(F) 到 V2(F)V_2(F) 的一个 映射 σ\sigma 是 线性 的,如果对于 ∀α,β∈V1\forall \pmb{\alpha},\pmb{\beta} \in V_1 和 ∀λ,μ∈F\forall \lambda,\mu \in F 都有:

σ(λα+μβ)=λσ(α)+μσ(β)\sigma(\lambda \pmb{\alpha}+\mu\pmb{\beta})=\lambda\sigma(\pmb{\alpha})+\mu\sigma(\pmb{\beta})

设 σ\sigma 是线性空间 V1(F)V_1(F) 到 V2(F)V_2(F) 的线性映射,则定义:

  • V1V_1 的所有元素在 σ\sigma 下的像所组成的集合被称为 σ\sigma 的 像,记为 σ(V1)\sigma(V_1) 或 ImσIm \sigma。
  • V2V_2 的零元在 σ\sigma 的原像集合被称为 σ\sigma 的 核,记为 σ−1(02)\sigma^{-1}(\pmb{0}_2) 或 KerσKer \sigma。

定理:线性映射 σ:V1→V2\sigma:V_1 \to V_2 是单射 ⇔\Leftrightarrow σ−1(02)={01}\sigma^{-1}(\pmb{0}_2)=\{\pmb{0}_1\}

后推前:假设存在 σ(α1)=σ(α2)\sigma(\pmb{\alpha}_1)=\sigma(\pmb{\alpha}_2),则 σ(α1)−σ(α2)=σ(α1−α2)=0\sigma(\pmb{\alpha}_1)-\sigma(\pmb{\alpha_2})=\sigma(\pmb{\alpha}_1-\pmb{\alpha}_2)=\pmb{0},根据条件得 α1=α2\pmb{\alpha}_1=\pmb{\alpha}_2

把线性空间 V1(F)V_1(F) 到 V2(F)V_2(F) 的所有线性映射组成的集合记作 L(V1,V2)L(V_1,V_2)。额外定义 L(V1,V2)L(V_1,V_2) 上的加法为 (σ+τ)(α)=σ(α)+τ(α),α∈V1(\sigma+\tau)(\pmb{\alpha})=\sigma(\pmb{\alpha})+\tau(\pmb{\alpha}),\pmb{\alpha} \in V_1,数乘为 (λσ)(α)=λ(σ(α)),α∈V1(\lambda\sigma)(\pmb{\alpha})=\lambda(\sigma(\pmb{\alpha})),\pmb{\alpha} \in V_1,则 L(V1,V2)L(V_1,V_2) 也是线性空间。

设 σ∈L(V1,V2)\sigma \in L(V_1,V_2),B={α1,α2,…,αn}B=\{\pmb{\alpha}_1,\pmb{\alpha}_2,\dots,\pmb{\alpha}_n\} 是 V1V_1 的基,V1V_1 中任一向量 ξ=x1α1+x2α2+,…,+xnαn\xi=x_1\pmb{\alpha}_1+x_2\pmb{\alpha}_2+,\dots,+x_n\pmb{\alpha}_n 在 σ\sigma 下的像可表示为 σ(ξ)=x1σ(α1)+x2σ(α2)+,…,+xnσ(αn)\sigma(\xi)=x_1\sigma(\pmb{\alpha}_1)+x_2\sigma(\pmb{\alpha}_2)+,\dots,+x_n\sigma(\pmb{\alpha}_n)。即 σ\sigma 的值域是基 BB 在 σ\sigma 下的像 σ(B)\sigma(B) 的线性扩张。定义 线性变换 σ\sigma 的秩 为 σ(V1)\sigma(V_1) 的维数,即 r(σ)=dim⁡σ(V1)r(\sigma)=\dim \sigma(V_1)。

对于有限维线性空间 V1,V2V_1,V_2,若 dim⁡(V1)=n\dim(V_1)=n,则线性映射 σ\sigma 的像和核满足如下的维数公式:

r(σ)+dim⁡(Kerσ)=nr(\sigma)+\dim(Ker\sigma)=n

证明:构造 KerσKer\sigma 的一组基 Bk={α1,α2,…,αk}B_{k}=\{\pmb{\alpha}_1,\pmb{\alpha}_2,\dots,\pmb{\alpha}_k\},将其扩充成 V1V_1 的基 {α1,…,αk,αk+1,…,αn}\{\pmb{\alpha}_1,\dots,\pmb{\alpha}_k,\pmb{\alpha}_{k+1},\dots,\pmb{\alpha}_n\} ,则 r(σ)=dim⁡σ(V1)=dim⁡L(σ(αk+1),…,σ(αn))r(\sigma)=\dim \sigma(V_1)=\dim L(\sigma(\pmb{\alpha}_{k+1}),\dots,\sigma(\pmb{\alpha_n})),只需再证 σ(αk+1),…,σ(αn)\sigma(\pmb{\alpha}_{k+1}),\dots,\sigma(\pmb{\alpha_n}) 线性无关。假设存在一组系数使其相加 =0=0,那么它就能被 BkB_k 线性表示;但已知 B1B_1 是线性无关的,则系数只能全为 00。

推论:若 V1V_1 和 V2V_2 都是 nn 维线性空间,线性映射 σ∈L(V1,V2)\sigma \in L(V_1,V_2) ,则 r(σ)=n⇔σr(\sigma)=n \Leftrightarrow \sigma 是单射 ⇔σ\Leftrightarrow \sigma 是满射

矩阵的基本变换和性质

设 A∈MFA \in M_F,如果存在 B∈MFB \in M_F 使得 BA=AB=EBA=AB=E,则称矩阵 AA 是可逆的,并把 BB 叫做 AA 的 逆矩阵。

若方程 AX=bA\mathbf{X}=\mathbf{b} 对于任意的 b\mathbf{b} 都有唯一解,则 AA 是可逆矩阵,且解 X=A−1b\mathbf{X}=A^{-1}\mathbf{b}。

域 FF 上全体 nn 阶矩阵 Mn(F)M_n(F) 关于矩阵乘法构成 含幺半群,但是全体 nn 阶可逆矩阵关于矩阵乘法构成 群。

若 AT=AA^T=A,则称方阵 AA 为 对称矩阵;若 AT=−AA^T=-A,则称方阵 AA 为 反对称矩阵。

将倍加、倍乘、对换行称为矩阵的三大 初等变换。从单位矩阵 EE 经过一次初等变换的矩阵称为 初等矩阵。

定理:任何一个可逆矩阵 AA 可以表示成若干个初等矩阵 P1,P2,…,PkP_1,P_2,\dots,P_k 的乘积。

如果 AA 经过初等变换能变成 BB,则称 AA 相抵于 BB,记为 A≃BA \simeq B。相抵关系是一个等价关系。

矩阵的行秩和列秩是相等的,统称为矩阵的 秩。初等行(列)变换不改变矩阵的秩。可逆矩阵 满秩。

r(A+B)≤r(A)+r(B)r(AB)≤min⁡(r(A),r(B))r(A+B)\le r(A)+r(B) \\ r(AB) \le \min(r(A),r(B))

方阵的行列式

设 A,BA,B 是 nn 阶方阵,则 ∣AT∣=∣A∣|A^T|=|A|,∣AB∣=∣A∣∣B∣|AB|=|A||B|。

在 nn 阶行列式 D=∣ai,j∣n×nD=|a_{i,j}|_{n \times n} 中,去掉元素 ai,ja_{i,j} 所在的第 ii 行和第 jj 列的所有元素而得到的 n−1n-1 阶行列式称为元素 ai,ja_{i,j} 的 余子式,记作 Mi,jM_{i,j}。并把 Ai,j=(−1)i+jMi,jA_{i,j}=(-1)^{i+j}M_{i,j} 称为元素 ai,ja_{i,j} 的 代数余子式。

设 AA 是 nn 阶可逆矩阵,构造 伴随矩阵 A∗A^{\ast} 为 AA 的代数余子式矩阵的转置,即:

A∗=[A11A21…An1A12A22…An2…………A1nA2n…Ann]A^{\ast}=\begin{bmatrix} A_{11} & A_{21} & \dots & A_{n1} \\ A_{12} & A_{22} & \dots & A_{n2} \\ \dots & \dots & \dots & \dots \\ A_{1n} & A_{2n} & \dots & A_{nn} \end{bmatrix}

那么有性质:AA∗=∣A∣EAA^{\ast}=|A|E,即 1∣A∣A∗\frac{1}{|A|}A^{\ast} 是 AA 的逆矩阵。

取 AA 的任意 kk 行和任意 kk 列的交点构成的方阵的行列式称为 AA 的 kk 阶子式。如果取得正好是前 kk 行和前 kk 列,则称为 AA 的 kk 阶主子式。AA 的非零子式的最高阶数称为 AA 的 行列式秩。

定理:r(A)=kr(A)=k 的充要条件是 AA 的行列式秩等于 kk。

Cramer 法则:若线性方程组 AX=bA\mathbf{X}=\mathbf{b} 满足 D=∣A∣≠0D=|A| \ne 0,则方程组有唯一解 xj=DjDx_j=\frac{D_j}{D}。

推论:齐次线性方程组 AX=0A\mathbf{X}=\mathbf{0} 有非零解的充分必要条件是 ∣A∣=0|A|=0。

正交矩阵和相似矩阵

对于欧式空间 V(R)V(\mathbf{R}) 的一个线性变换 σ\sigma ,若 ∀α,β∈V,(σ(α),σ(β))=(α,β)\forall \pmb{\alpha,\beta} \in V,(\sigma(\pmb{\alpha}),\sigma(\pmb{\beta}))=(\pmb{\alpha},\pmb{\beta})(即内积保持不变),则称 α\pmb{\alpha}是 正交变换,对应的矩阵叫做 正交矩阵。α\pmb{\alpha} 是正交变换的充要条件是:∀α∈V,∣σ(α)∣=∣α∣\forall \pmb{\alpha} \in V,|\sigma(\pmb{\alpha})|=|\pmb{\alpha}|。

矩阵 AA 是正交矩阵,当且仅当 ATA=EA^TA=E。注意此时 ∣A∣=±1|A|=\pm 1。

如果对于 A,B∈Mn(F)A,B \in M_n(F),存在可逆矩阵 C∈Mn(F)C \in M_n(F),使得 C−1AC=BC^{-1}AC=B,则称 AA 相似 于 BB,记为 A∼BA \sim B。容易证明,矩阵的相似关系在集合 Mn(F)M_n(F) 上构成等价关系。

相似矩阵 其实是同一个线性变换 σ\sigma 在不同基下得到的矩阵。

若 A∼BA \sim B,则 f(A)∼f(B)f(A) \sim f(B),其中 f(X)=amXm+am−1Xm−1+⋯+a0Ef(X)=a_mX^m+a_{m-1}X^{m-1}+\dots+a_0E。

特征值和特征向量

设矩阵 A∈Mn(F)A \in M_n(F),如果存在数 λ0∈F\lambda_0 \in F 和非零向量 X∈VX \in V,使得 AX=λ0XAX=\lambda_0X,则称数 λ0\lambda_0 为 AA 的一个 特征值,XX 为 AA 属于 λ0\lambda_0 的 特征向量。称 f(λ)=∣λE−A∣f(\lambda)=|\lambda E-A| 为 AA 的 特征多项式。

根据定义,特征向量 XX 的几何意义是:经过 AA 的变换后方向不变的一组向量。

特征多项式 f(λ)=λn+b1λn−1+⋯+bn−1λ1+bnf(\lambda)=\lambda^n+b_1\lambda^{n-1}+\dots+b_{n-1}\lambda^1+b_n,其中 bk=(−1)kSkb_k=(-1)^kS_k,SkS_k 是全体 kk 阶主子式之和。

推论:若矩阵 AA 的 nn 个特征值为 λ1,λ2,…,λn\lambda_1,\lambda_2,\dots,\lambda_n,则:

∑i=1nλi=∑i=1nAi,i∏λi=∣A∣\sum \limits_{i=1}^n \lambda_i=\sum \limits_{i=1}^nA_{i,i} \quad \quad \prod \limits \lambda_i=|A|

定理:若矩阵 AA 和 BB 相似,则他们的特征多项式相等,即 ∣λE−A∣=∣λE−B∣|\lambda E-A|=|\lambda E-B|。

证明:若 A∼BA \sim B,即存在可逆矩阵 PP,使得 P−1AP=BP^{-1}AP=B,于是:

∣λE−B∣=∣λE−P−1AP∣=∣P−1(λE−A)P∣=∣P−1∣∣λE−A∣∣P∣=∣λE−A∣|\lambda E-B|=|\lambda E-P^{-1}AP|=|P^{-1}(\lambda E-A)P|=|P^{-1}||\lambda E-A||P|=|\lambda E-A|

说明:线性变换 σ\sigma 在不同基下对应的矩阵是相似矩阵,所以他们的特征多项式均相同。说明不同基下的特征多项式(特征值)是 σ\sigma 的 不变量。他们也可以统称为线性变换 σ\sigma 的特征多项式。

设 VV 是域 FF 上的线性空间,λ0\lambda_0 是其一个特征值,称以下子空间为 σ\sigma 关于 λ0\lambda_0 的 特征子空间 Vλ0V_{\lambda_0}:

Vλ0={ξ∣σ(ξ)=λ0ξ,ξ∈V}V_{\lambda_0}=\{\xi | \sigma(\xi)=\lambda_0\xi,\xi \in V\}

定理:设 λj,j∈[1..m]\lambda_j,j \in[1..m] 是 nn 维线性空间 V(F)V(F) 的线性变换 σ\sigma 的互不相同的特征值,VλjV_{\lambda_j} 是相应的特征子空间,则 mm 个特征子空间的和是直和,即 dim⁡(Vλ1+Vλ2+⋯+Vλm)=n\dim(V_{\lambda_1}+V_{\lambda_2}+\dots+V_{\lambda_m})=n。

说明:可以想象投影映射 σp\sigma_p:R3\pmb{R}^3 中的向量关于某个二维平面 WW 的投影。 σp\sigma_p 的特征值是 λ1=0\lambda_1=0 和 λ2=1\lambda_2=1(重根),对应的特征子空间分别是 W⊥,WW^{\perp},W,其中 dim⁡Vλ1=1,dim⁡Vλ2=2\dim V_{\lambda_1}=1,\dim V_{\lambda_2}=2。

Caylay-Hamilton Theorem:f(λ)=λn+b1λn−1+⋯+bn−1λ1+bnf(\lambda)=\lambda^n+b_1\lambda^{n-1}+\dots+b_{n-1}\lambda^1+b_n 是方阵 AA 的特征多项式,则:

f(A)=An+b1An−1+⋯+bn−1A1+bn=0f(A)=A^n+b_1A^{n-1}+\dots+b_{n-1}A^1+b_n=0

证明可参考 shb 的博客。

可对角化

如果线性变换 σ\sigma 在某个基下对应的矩阵 AA 为对角阵,则称 σ\sigma 为 可对角化 的线性变换。同样,与对角阵相似的矩阵 AA 称为可对角化矩阵。与 AA 相似的对角矩阵 Λ\Lambda 称为 相似标准形。

定理:矩阵 A∈Mn(F)A \in M_n(F) 可对角化的充分必要条件为 AA 有 nn 个线性无关的特征向量。

证明:设 A∼Λ=diag(λ1,λ2,…,λn)A \sim \Lambda=\mathbb{diag}(\lambda_1,\lambda_2,\dots,\lambda_n),则存在可逆矩阵 PP 使 AP=PΛAP=P\Lambda。若 P=(X1,…,Xn)P=(\pmb{X}_1,\dots,\pmb{X}_n) 则:

A(X1,…,Xn)=(X1,…,Xn)[λ1λ2…λn]A(\pmb{X}_1,\dots,\pmb{X}_n)=(\pmb{X}_1,\dots,\pmb{X}_n) \begin{bmatrix} \lambda_1 \quad \quad \quad \\ \quad \lambda_2 \quad \quad \\ \quad \quad \dots \quad \\ \quad \quad \quad \lambda_n\end{bmatrix}

容易发现 AXj=λjXjA\pmb{X}_j=\lambda_j\pmb{X_j},即 (X1,…,Xn)(\pmb{X}_1,\dots,\pmb{X}_n) 是 AA 的 nn 个线性无关的特征向量。反之亦然。

对于一个 nn 阶可对角化矩阵 AA,我们一般用如下的步骤求其变换矩阵:

  1. 求出 AA 的所有不同特征值 λ1,λ2,…,λm\lambda_1,\lambda_2,\dots,\lambda_m,他们的重数分别是 r1,r2,…,rmr_1,r_2,\dots,r_m,且 ∑ri=n\sum r_i=n。
  2. 将 mm 个特征子空间的基向量依次排成 nn 阶矩阵构成 PP,即 P=(X1,1,…,X1,r1,…,Xm,1,Xm,rm)P=(\pmb{X}_{1,1},\dots,\pmb{X}_{1,r_1},\dots,\pmb{X}_{m,1},\pmb{X}_{m,r_m})

则有 P−1AP=λ1,…,λ1,…,λm,…,λmP^{-1}AP=\mathbb{\lambda_1,\dots,\lambda_1,\dots,\lambda_m,\dots,\lambda_m}。

实对称矩阵

如果 nn 阶矩阵 AA 满足 Ai,jA_{i,j} 都是实数且 Ai,j=Aj,iA_{i,j}=A_{j,i},则称 AA 是 实对称矩阵。

二次曲线 f(x1,x2)=a1,1x12+2a1,2x1x2+a2,2x22f(x_1,x_2)=a_{1,1}x_1^2+2a_{1,2}x_1x_2+a_{2,2}x^2_2 可以写成 XTAX\pmb{X}^TA\pmb{X} 的形式,其中 AA 是有关系数的实对称矩阵,X=(x1,x2)T\pmb{X}=(x_1,x_2)^T。

定理:实对称矩阵的特征值都是实数。

证明:设 λ\lambda 是 AA 的任一个特征值,只需证明 λ=λ‾\lambda=\overline \lambda。根据 AX=λXAX=\lambda X 和 (A‾)T=A(\overline A)^T=A 就有

λ(X‾)TX=(X‾)TAX=(X‾)T(A‾)TX=(AX‾)TX=λ‾(X‾)TX\lambda (\overline X)^TX=(\overline X)^TAX=(\overline X)^T(\overline A)^TX=(\overline {AX})^TX=\overline \lambda(\overline X)^TX

定理:实对称矩阵里属于不同特征值的特征向量相互正交。

证明:设 λ1,λ2\lambda_1,\lambda_2 是两个特征值,X1X_1 和 X2X_2 是对应的特征向量(实向量)。那么有:

λ1(X1,X2)=(AX1,X2)=(AX1)TX2=X1TATX2=X1TAX2=(X1,AX2)=λ2(X1,X2)\lambda_1(X_1,X_2)=(AX_1,X_2)=(AX_1)^TX_2=X_1^TA^TX_2=X_1^TAX_2=(X_1,AX_2)=\lambda_2(X_1,X_2)

由于 λ1≠λ2\lambda_1 \ne \lambda_2,则 (X1,X2)=0(X_1,X_2)=0。

定理:若矩阵 AA 是 nn 阶实对称矩阵,则存在 nn 阶正交矩阵 QQ,使得 Q−1AQ=diag(λ1,λ2,…,λn)Q^{-1}AQ=\mathbb{diag}(\lambda_1,\lambda_2,\dots,\lambda_n)。

具体求 QQ 的步骤是:取 AA 不同特征值下的单位正交基,按顺序排成 QQ。

主轴定理:对于任一个 nn 元二次型 f(x1,x2,…,xn)=XTAXf(x_1,x_2,\dots,x_n)=\pmb{X}^TA\pmb{X},都存在正交变换 X=QY\pmb{X}=Q\pmb{Y},使得:

XTAX=YT(QTAQ)Y=λ1y12+⋯+λnyn2\pmb{X}^TA\pmb{X}=\pmb{Y}^T(Q^TAQ)\pmb{Y}=\lambda_1y_1^2+\dots+\lambda_ny_n^2

矩阵树定理 Kirchhoff’s Matrix-Tree Theorem

定义无向图 GG 的关联矩阵(incidence matrix)Bn,mB_{n,m} 为:

Bi,j={1i=stej−1i=edej0otherwiseB_{i,j}=\begin{cases} 1 & \quad i = st_{e_j} \\ -1 & \quad i = ed_{e_j}\\ 0 & \quad otherwise \end{cases}

定义无向图 GG 的拉普拉斯矩阵(Laplacian matrix)或基尔霍夫矩阵(Kirchhoff matrix)为:Q=BBTQ=BB^T 。

注意到 QQ 也满足公式 Q=D(G)−Adj(G)Q=D(G)-Adj(G) ,即无向图的拉普拉斯矩阵是度数矩阵和邻接矩阵的差。

定理1:拉普拉斯矩阵的所有代数余子式均相等。

证明:为了证明上述定理,只需证明对于某一行 ii,Ai,j=Ai,kA_{i,j}=A_{i,k},即 (−1)i+jMi,j=(−1)i+kMi,k(-1)^{i+j}M_{i,j}=(-1)^{i+k}M_{i,k}。考察 Mi,jM_{i,j} 对应的列向量,其中并不包含原矩阵的第 jj 个列向量 j→\overrightarrow j。现在,把所有列都加到第 kk 个列向量 k→\overrightarrow k 上。注意到,拉普拉斯矩阵的每一行和每一列的和都是 00,所以 k→=−j→\overrightarrow k=-\overrightarrow j。现在我们再把新的子矩阵的 k→\overrightarrow k 不断地向 j→\overrightarrow j 处调换,一共调换 ∣j−k∣−1|j-k|-1 次。所以 Mi,k=(−1)∣j−k∣Mi,jM_{i,k}=(-1)^{|j-k|}M_{i,j},即 Ai,j=Ai,kA_{i,j}=A_{i,k}。

定理2:拉普拉斯矩阵的行列式为 00。

证明:高斯消元过程不会改变每行和都是 00 的性质,所以消完后 An,n=0A_{n,n}=0。我们也可以直接展开第一行证明。

矩阵树定理:无向图 GG 的拉普拉斯矩阵 QQ 去掉任意一行任意一列的行列式 ∣Q′∣|Q'| 即为 GG 的生成树个数,即:

t(G)=1nλ1λ2…λn−1,λn=0t(G)=\frac{1}{n}\lambda_1\lambda_2\dots\lambda_{n-1},\quad \lambda_n=0

推广1:无向图还能带边权,Adji,j=kAdj_{i,j}=k 表示 ii 到 jj 之间存在 kk 条边,依然能求得正确的生成树个数。

推广2:如果给出一个有向图和一个点 kk,删掉根所在的行列可正确求出以 kk 为根的外向树个数。

推广3:矩阵树定理还能求构成 kk 个连通块的森林的方案数。对于某一种方案 FF,设 kk 个点集为 V1,V2…,VkV_1,V_2\dots,V_k,定义权值为 w(F)=∣V(F1)∣×∣V(F2)∣×…∣V(Fn)∣w(F)=|V(F_1)|\times|V(F_2)|\times\dots|V(F_n)|。那么我们有:

∑Fw(F)=qkqk=∑i1,i2,…,in−k⊆{1…,n−1}λi1λi2…λin−k\sum \limits_{F} w(F)=q_k \\ q_k=\sum \limits_{i_1,i_2,\dots,i_{n-k} \subseteq \{1 \dots, n-1\}}\lambda_{i_1}\lambda_{i_2}\dots\lambda_{i_{n-k}}

原来树的方案该推论的一个特例:k=1,qk=λ1…λn−1k=1,q_k=\lambda_1\dots\lambda_{n-1}。

矩阵范数

我们知道,向量范数的定义是:∣∣x∣∣k=∑∣xi∣kk||\pmb{x}||_k=\sqrt[k]{\sum |x_i|^k}。

矩阵范数没有公认的统一定义,但是它必须满足以下这些规则:

∣∣A∣∣≥0,∣∣0n,m∣∣=0,∣∣αA∣∣=α∣∣A∣∣,∣∣A+B∣∣≤∣∣A∣∣+∣∣B∣∣||A||\ge 0, \quad ||\pmb{0}_{n,m}||=0, \quad ||\alpha A||=\alpha ||A||, \quad ||A+B|| \le ||A||+||B||

有些教科书认为矩阵范数是定义在方阵上的,还需满足相容性:

∣∣AB∣∣≤∣∣A∣∣⋅∣∣B∣∣||AB|| \le ||A|| \cdot ||B||

我们可以从向量范数去推导一种可能的矩阵范数,它被称为 诱导范数。

∣∣A∣∣k=sup⁡{∣∣Ax∣∣k:x∈Rn,∣∣x∣∣k=1}||A||_k=\sup\{||Ax||_k:x \in R^n,||x||_k=1\}

对于特殊的 kk,矩阵范数还有以下的一些求法:

∣∣A∣∣1=max⁡1≤j≤n∑i=1m∣ai,j∣∣∣A∣∣2=max⁡∣λi∣,∣∣A∣∣2=max⁡{xTAx:∣∣x∣∣=1}∣∣A∣∣∞=max⁡1≤i≤m∑j=1n∣ai,j∣||A||_1=\max \limits_{1 \le j \le n} \sum \limits_{i=1}^m |a_{i,j}| \\ ||A||_2=\max|\lambda_i|,\quad ||A||_2=\max\{x^TAx: ||x||=1\} \\ ||A||_{\infty}=\max \limits_{1 \le i \le m} \sum \limits_{j=1}^n |a_{i,j}|