MIT 线性代数 Linear Algebra 25: 对称矩阵的特征值特征向量，正定矩阵_综合

对称矩阵的特征值和特征向量

这一节，我们首先研究一类重要的矩阵，实对称矩阵，的特征值和特征向量。

性质

我们的主要结论是

实对称矩阵的特征值全部是实数。
实对称矩阵可以取到 $n$ 个正交的特征实向量。

原因

为什么所有实对称矩阵的特征值全部是实数尼？我们只用对比
$Ax=λx(1)\bm{Ax}=\lambda\bm{x}~~~~(1)$

$Ax?=λ?x?(2)\bm{A\overline{x}}=\overline{\lambda}\overline{\bm{x}}~~~~(2)$

即可，其中下式是上式两边共轭的结果。其实从这里也能看出，任意matrix $A\bm{A}$ , 如果 $λ\lambda$ 是其特征值，则 $λ?\overline{\lambda}$ 也是它的特征值，他们的特征向量互为共轭。

我们还知道 $A=A?\bm{A}=\bm{A}^\top$ , 因此由 (2) 有
$x??A=λ?x??(3)\overline{\bm{x}}^\top\bm{A}=\overline{\lambda}\overline{\bm{x}}^\top~~~~(3)$

(1) 左乘 $x??\overline{\bm{x}}^\top$ , (3) 右乘 $x\bm{x}$ 有
$x??Ax=λx??x\overline{\bm{x}}^\top\bm{Ax}=\lambda\overline{\bm{x}}^\top\bm{x}$

$x??Ax=λ?x??x\overline{\bm{x}}^\top\bm{A}\bm{x}=\overline{\lambda}\overline{\bm{x}}^\top\bm{x}$

Since $x??x≠0\overline{\bm{x}}^\top\bm{x}\neq\bm{0}$ , 我们有 $λ=λ?\lambda=\overline{\lambda}$ , 即 $λ\lambda$ 是实数。

复数矩阵 $A\bm{A}$ : 从上面的推导也可以看出，我们其实是在比较 (1) 和 (1) 的共轭转置。此时，如果 $A\bm{A}$ 是复数矩阵，我们有
$x??Ax=λx??x\overline{\bm{x}}^\top\bm{Ax}=\lambda\overline{\bm{x}}^\top\bm{x}$

$x??A??x=λ?x??x\overline{\bm{x}}^\top\overline{\bm{A}}^\top\bm{x}=\overline{\lambda}\overline{\bm{x}}^\top\bm{x}$

所以，如果复矩阵是厄米矩阵 (Hermitian) $A=A??\bm{A}=\overline{\bm{A}}^\top$ ，那它的特征值也全是实数，其中通常我们记作 $A??=AH\overline{\bm{A}}^\top=\bm{A}^H$ .

应用

给定上面两点性质，一个重要的结论是所有的实对称矩阵都能被相似对角化
$A=QΛQ?1=QΛQ?\bm{A=Q}\Lambda\bm{Q}^{-1}=\bm{Q}\Lambda\bm{Q}^\top$

特别的，对角化所用矩阵是正交矩阵 $Q\bm{Q}$ 。这有什么好处尼？好处是我们可以把矩阵 $A\bm{A}$ 直接表示为它的特征值和特征向量：
$A=λ1q1q1?+λ2q2q2?+...+λnqnqn?\bm{A}=\lambda_1\bm{q}_1\bm{q}_1^\top+\lambda_2\bm{q}_2\bm{q}_2^\top+...+\lambda_n\bm{q}_n\bm{q}_n^\top$

其中每一项 $qiqi?\bm{q}_i\bm{q}_i^\top$ 都是一个projection matrix (可以代入性质，对称，幂次方是本身)。每一个对称矩阵都能表示为 $n$ 个相互正交的投影矩阵的线性组合

Fact 1: 如果没有 row exchange，实对称的 pivots乘积等于矩阵的行列式，因此也等于所有特征值的乘积。

Fact 2: 对于实对称矩阵，列出所有的 pivots 和所有的特征值，positive的个数和negative的个数相等。

这一点的用处是，

我们可以估计特征值的正负，这在differential equations中很有用，因为它决定了系统最终会不会收敛。
我们可以用 pivots 来估计大于某个数, 比如 $d$ ，的特征值的个数 (pivots比特征值好算太多太多)。做法就是看矩阵 $A?dI\bm{A-dI}$ pivots 有多少个正数，因为特征值被平移了 $d$ .

正定矩阵 positive definite matrix

对称矩阵是一类很好的矩阵，在这个基础上，我们介绍另一类矩阵：正定矩阵。这里我们只介绍一下概念，稍后我们会仔细看这一类矩阵。

前提：实对称矩阵。

要求：所有特征值大于零。

特性：

所有特征值大于零。
所有 pivots 大于零。
所有 $n$ 个子行列式大于零。