谱定理（Spectral Theorem）的证明

优雅的定理也有一个优雅的证明。

· 更新于

回顾特征值分解/对角化image.png

定义

对于 n×nn \times n 的方阵 A\boldsymbol{A}，如果有下面的等式：

Ax=λx\boldsymbol{Ax}=\lambda \boldsymbol{x}

其中 x\boldsymbol{x} 为非零向量。

我们就称 x\boldsymbol{x} 是 x\boldsymbol{x} 的一个特征向量（eigenvector），λ\lambda 是 x\boldsymbol{x} 的一个特征值（eigenvalue）。

求解

Ax=λIx(A−λI)x=0det⁡(A−λI)=0\begin{align*} \boldsymbol{Ax} &= \lambda \boldsymbol{Ix} \\ (\boldsymbol{A} - \lambda \boldsymbol{I})\boldsymbol{x} &= \boldsymbol{0} \\ \det(\boldsymbol{A} - \lambda \boldsymbol{I}) &= 0 \\ \end{align*}

特征值可以通过解特征根方程 det⁡(A−λI)=0\det(\boldsymbol{A}-\lambda \boldsymbol{I})=0 来求得。 由代数基本定理，这个多项式方程一定有 nn 个复根（可能有重根）

由于行列式为0，(A−λI)x=0(\boldsymbol{A}-\lambda \boldsymbol{I})\boldsymbol{x}=\boldsymbol{0} 一定有非零解，任取一非零解，即可得出特征向量 x\boldsymbol{x}。

如果 A\boldsymbol{A} 有 nn 个线性无关的特征向量 x1,x2,…,xn\boldsymbol{x}_1, \boldsymbol{x}_2, \dots, \boldsymbol{x}_n，对应的 nn 个特征值为 λ1,λ2,…,λn\lambda_1, \lambda_2, \dots, \lambda_n，令 X=(x1,x2,…,xn)\boldsymbol{X}=(\boldsymbol{x}_1, \boldsymbol{x}_2, \dots, \boldsymbol{x}_n)，Λ=diag(λ1,λ2,…,λn)\boldsymbol{\Lambda}=\mathrm{diag}(\lambda_1, \lambda_2, \dots, \lambda_n) 则

AX=XΛA=XΛX−1\begin{align*} \boldsymbol{AX}&=\boldsymbol{X \Lambda} \\ \boldsymbol{A}&=\boldsymbol{X \Lambda} \boldsymbol{X}^{-1} \tag{1} \end{align*}

(1)(1) 式称作 A\boldsymbol{A} 的特征值分解，此时 A\boldsymbol{A} 称作可对角化（diagonalizable）。

实对称矩阵 S\boldsymbol{S} 必定可对角化，且一定可以选取两两正交的的单位特征向量，使得 X\boldsymbol{X} 为正交矩阵 Q\boldsymbol{Q}，这时原式可以写成这样。

图来自Github仓库The-Art-of-Linear-Algebra

下面，我们将要把实对称矩阵推广到所有正规矩阵，将正交矩阵推广到复数域的酉矩阵。

通向SVD的基础：谱定理

定义：对称矩阵

若 A=A∗\boldsymbol{A}=\boldsymbol{A}^*，称 A\boldsymbol{A} 为对称矩阵（symmetric matrix）。 这里的 A∗=A‾T\boldsymbol{A}^*=\overline{\boldsymbol{A}}^\mathrm{T}，表示 A\boldsymbol{A} 的共轭转置（conjugate transpose）。

定义：酉矩阵

若 U∗U=UU∗=I\boldsymbol{U}^*\boldsymbol{U}=\boldsymbol{UU}^*=\boldsymbol{I}，称方阵 U\boldsymbol{U} 为酉矩阵（unitary matrix）

推论 U∗=U−1\boldsymbol{U}^* = \boldsymbol{U}^{-1}

定义：正规矩阵

若 AA∗=A∗A\boldsymbol{A}\boldsymbol{A}^*=\boldsymbol{A}^* \boldsymbol{A}，称方阵 A\boldsymbol{A} 为正规矩阵（normal matrix）。

显然，对称矩阵和酉矩阵都是正规矩阵

谱定理（Spectral Theorem）

谱定理在线性代数里可以这样表述

A\boldsymbol{A} 是正规矩阵当且仅当存在酉矩阵 U\boldsymbol{U}，使得

A=UΛU∗(2)\boldsymbol{A}=\boldsymbol{U \Lambda U}^* \tag{2}

其中 Λ\boldsymbol{\Lambda} 为对角阵。

结合特征值分解和酉矩阵的定义，不难发现 (2)(2) 其实就是一种特殊的特征值分解 A=UΛU−1\boldsymbol{A}=\boldsymbol{U \Lambda U}^{-1}，Λ\boldsymbol{\Lambda} 就是特征值组成的对角阵 Λ=diag(λ1,λ2,…,λn)\boldsymbol{\Lambda}=\mathrm{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)。

证明

必要性

A=UΛU∗AA∗=UΛU∗UΛ‾U∗=UΛΛ‾U∗A∗A=UΛ‾U∗UΛU∗=UΛ‾ΛU∗\begin{align*} \boldsymbol{A} &= \boldsymbol{U \Lambda U}^* \\ \boldsymbol{AA}^* &= \boldsymbol{U \Lambda U}^* \boldsymbol{U} \overline{\boldsymbol{\Lambda}}\boldsymbol{U}^* \\ &= \boldsymbol{U \Lambda \overline{\Lambda} U}^* \\ \boldsymbol{A}^*\boldsymbol{A} &= \boldsymbol{U \overline{\Lambda} U}^* \boldsymbol{U} \boldsymbol{\Lambda}\boldsymbol{U}^* \\ &= \boldsymbol{U \overline{\Lambda} \Lambda U}^* \\ \end{align*}

其中 ΛΛ‾=Λ‾Λ=diag(∣λ1∣2,∣λ2∣2,…,∣λn∣2)\boldsymbol{\Lambda \overline{\Lambda}}=\boldsymbol{\overline{\Lambda} \Lambda}=\mathrm{diag}(|\lambda_1|^2, |\lambda_2|^2, \dots, |\lambda_n|^2)。 故 AA∗=A∗A\boldsymbol{AA}^*=\boldsymbol{A}^*\boldsymbol{A}，A\boldsymbol{A} 为正规矩阵。

充分性

使用数学归纳法，当 n=1n=1，结论显然成立。 若谱定理对 n−1n-1 成立，下面证明其对 nn 成立。

任取特征值 λ1\lambda_1，和对应的特征向量 x1\boldsymbol{x}_1（存在至少一个，一定能取到！），标准化这个特征向量 q=x1∣x1∣\boldsymbol{q}=\frac{\boldsymbol{x}_1}{|\boldsymbol{x}_1|}，则 q∗q=1\boldsymbol{q}^*\boldsymbol{q}=1。

Aq=λ1qq∗Aq=λ1q∗q=λ1\begin{align*} \boldsymbol{Aq}&=\lambda_1\boldsymbol{q} \\ \boldsymbol{q}^*\boldsymbol{Aq}&=\lambda_1\boldsymbol{q}^*\boldsymbol{q}=\lambda_1 \\ \end{align*}

任取一组包含 q\boldsymbol{q} 的基，经过Gram-Schmidt 正交化，和标准化，得到酉矩阵 (q,q2,…,qn)=(q,Q)(\boldsymbol{q}, \boldsymbol{q}_2, \dots, \boldsymbol{q}_n)=(\boldsymbol{q}, \boldsymbol{Q})

则

q∗Q=Q∗q=0Q∗Q=I\begin{align*} \boldsymbol{q}^*\boldsymbol{Q} = \boldsymbol{Q}^* \boldsymbol{q} &= 0 \tag{3} \\ \boldsymbol{Q}^* \boldsymbol{Q} &= \boldsymbol{I} \tag{4} \end{align*}

为了对 Q∗AQ\boldsymbol{Q}^*\boldsymbol{AQ} 应用谱定理，需要证明 Q∗AQ\boldsymbol{Q}^*\boldsymbol{AQ} 为正规矩阵。

(Q∗AQ)(Q∗AQ)∗=Q∗AA∗Q(Q∗AQ)∗(Q∗AQ)=Q∗A∗AQ\begin{align*} (\boldsymbol{Q}^*\boldsymbol{AQ})(\boldsymbol{Q}^*\boldsymbol{AQ})^* &= \boldsymbol{Q}^* \boldsymbol{AA}^* \boldsymbol{Q} \\ (\boldsymbol{Q}^*\boldsymbol{AQ})^*(\boldsymbol{Q}^*\boldsymbol{AQ}) &= \boldsymbol{Q}^* \boldsymbol{A}^*\boldsymbol{A} \boldsymbol{Q} \\ \end{align*}

由 A\boldsymbol{A} 正规 AA∗=A∗A\boldsymbol{AA}^* = \boldsymbol{A}^* \boldsymbol{A}，得 Q∗AQ\boldsymbol{Q}^*\boldsymbol{AQ} 正规。

由谱定理对于 n−1n-1 成立，应用 (2)(2) 式，有

Q∗AQ=VΛ1V∗(5)\boldsymbol{Q}^* \boldsymbol{A} \boldsymbol{Q} = \boldsymbol{V} \boldsymbol{\Lambda}_1 \boldsymbol{V}^* \tag{5}

其中 Λ1,V\boldsymbol{\Lambda}_1,\boldsymbol{V} 均符合谱定理的描述的性质。

令

U=(qQV)\boldsymbol{U} = \left(\begin{array}{cc} \boldsymbol{q} & \boldsymbol{QV} \\ \end{array}\right)

根据 (3),(4)(3),(4)

U∗U=(q∗qq∗QVV∗Q∗qV∗Q∗QV)=I\boldsymbol{U}^*\boldsymbol{U} = \left( \begin{array}{cc} \boldsymbol{q}^*\boldsymbol{q} & \boldsymbol{q}^* \boldsymbol{Q} \boldsymbol{V} \\ \boldsymbol{V}^* \boldsymbol{Q}^* \boldsymbol{q} & \boldsymbol{V}^* \boldsymbol{Q}^* \boldsymbol{Q} \boldsymbol{V} \\ \end{array} \right)=\boldsymbol{I}

故 U\boldsymbol{U} 是酉矩阵

U∗AU=(q∗Aqq∗AQVV∗Q∗AqV∗Q∗AQV)\begin{align*} \boldsymbol{U}^* \boldsymbol{A} \boldsymbol{U} &= \left(\begin{array}{cc} \boldsymbol{q}^* \boldsymbol{A} \boldsymbol{q} & \boldsymbol{q}^* \boldsymbol{A} \boldsymbol{Q} \boldsymbol{V} \\ \boldsymbol{V}^* \boldsymbol{Q}^* \boldsymbol{A} \boldsymbol{q} & \boldsymbol{V}^* \boldsymbol{Q}^* \boldsymbol{A} \boldsymbol{Q} \boldsymbol{V} \end{array}\right) \end{align*}

根据 (5)(5) 有

AQV=QVΛ1V∗Q∗A=Λ1V∗Q∗V∗Q∗AQV=Λ1\begin{align*} \boldsymbol{AQV} &= \boldsymbol{QV\Lambda}_1 \\ \boldsymbol{V}^* \boldsymbol{Q}^* \boldsymbol{A} &= \boldsymbol{\Lambda}_1 \boldsymbol{V}^* \boldsymbol{Q}^* \\ \boldsymbol{V}^* \boldsymbol{Q}^* \boldsymbol{AQV} &= \boldsymbol{\Lambda}_1 \end{align*}

则

U∗AU=(λ1q∗qq∗QVΛ1Λ1V∗Q∗qΛ1)=(λ1Λ1)=Λ\begin{align*} \boldsymbol{U}^*\boldsymbol{AU} &= \left(\begin{array}{cc} \lambda_1 \boldsymbol{q}^* \boldsymbol{q} & \boldsymbol{q}^* \boldsymbol{QV\Lambda}_1 \\ \boldsymbol{\Lambda}_1 \boldsymbol{V}^* \boldsymbol{Q}^* \boldsymbol{q} & \boldsymbol{\Lambda}_1 \end{array}\right)\\ &= \left(\begin{array}{cc} \lambda_1 & \\ & \boldsymbol{\Lambda}_1 \\ \end{array}\right) \\ &= \boldsymbol{\Lambda} \end{align*}

故原命题 A=UΛU∗\boldsymbol{A}=\boldsymbol{U}\boldsymbol{\Lambda}\boldsymbol{U}^* 得证。

参考

https://github.com/kenjihiranabe/The-Art-of-Linear-Algebra/tree/main

https://inst.eecs.berkeley.edu/~ee127/sp21/livebook/thm_sed.html

Introduction to Linear Algebra, 5th edition, by Gilbert Strang