线性代数 Linear Algebra 6: column space and null space

上一讲中，我们介绍了vector space的定义，我们知道了vector space必须对线性组合（加，数乘）闭合。在这一讲里，Prof. Strang重点介绍了矩阵的两个subspace：column space and null space.

Subspace的union和intersection

在正式介绍之前，我们先看一个subspace的性质。假设 $V$， $W$ 分别是 ${\mathbb{R}}^n$ 的subspace，那么

1. $V\cup W$ 并不是一个vector space

2. $V\cap W$ 是一个vector space

第一点很容易得出，不再赘述。我们着重看第二点。$?x,y\in V\cap W$， 则有

$$c_{1}x+c_{2}y\in V$$

$$c_{1}x+c_{2}y\in W$$

$?c_1,c_2$. 这很显然因为 $x,y\in V$ and $x,y\in W$.

As a result,
$$c_{1}x+c_{2}y\in V\cap W$$
$V\cap W$ 是一个subspace。

Column space of A: $C(A)$

上一讲中我们已经touch了矩阵的column space，我们已经知道了矩阵的列的线性组合可以张成${\mathbb{R}}^n$的一个子空间($n$是矩阵的行数)。这一节中我们要探讨的事column space到底有什么用。

好，给定一个矩阵
$$A=?\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}?$$

显然，它只有三列，他的column space最多是 ${\mathbb{R}}^4$ 中的一个三维空间，而且显然他的列空间只是一个二维空间，因为第三列等于前两列的和。

我们思考这样一个问题：
$$\mathbf{A}\mathbf{x}=\mathbf{b}$$

$$?\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}??\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}?=?\begin{array}{c}{b}_1\\ b_2\\ b_3\\ b_4\end{array}?$$
随便取一个vector $\mathbf{b}=[b_1,b_2,b_3,b_4{]}^{?}$ 这个方程他有解吗？直观上来看，我们有4个方程，三个未知数。方程个数多于未知数的时候，方程之间很容易有冲突。因此，大多数的 $\mathbf{b}$ 这个方程是无解的。那，他什么时候有解尼？

其实答案也是呼之欲出的，因为实际上 $\mathbf{x}$ 就是对 $A$ 的各列进行线性组合，因此只要$\mathbf{b}$ 在 $A$ 的column space中，这个方程一定有解！

Null space of A: $N(A)$

好，我们来看一下另一个space – null space. 不同于column space (defined for $\mathbf{b}$)， null space 是为了 $\mathbf{x}$ 定义的。回到上一个例子，我们思考以下问题：如果我们把 $\mathbf{b}$ 置成0，所有满足条件的 $\mathbf{x}$ 是什么样子的尼？

$$\mathbf{A}\mathbf{x}=0$$

$$?\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}??\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}?=?\begin{array}{c}0\\ 0\\ 0\\ 0\end{array}?$$

我先说答案，所有把 $\mathbf{A}$ 置零的 $\mathbf{x}$ 也构成一个 vector space，被称为 $\mathbf{A}$ 的null space

好，现在开始分析。我们来看看什么样的 $\mathbf{x}$ 满足这个公式。首先我们能找到一个零解对吧，即 $\mathbf{x}=0$, 其次我们还能找到一个非零解 $[1,1,?1{]}^{?}$,那么实际上$\mathbf{x}$的解就是
$$N(A)=c?\begin{array}{c}1\\ 1\\ ?1\end{array}?$$

好们这里有一个问题，为什么$\mathbf{A}$的null space是一个vector space？其实很好理解，因为如果$\mathbf{A}{\mathbf{x}}_1=0$ and $\mathbf{A}{\mathbf{x}}_2=0$, 那么显然 $\mathbf{A}(c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2)=0$.

注意，$A$ 的 null space 的维度是与 $A$ 的列的个数一致的。

齐次线性方程组的基础解系

其实我们可以回顾一下国内线性代数学习中讲的齐次线性方程组的基础解系的内容，对照来看。

• 齐次线性方程组的基础解系
  $${\mathbf{A}}_{m\times n}\mathbf{x}=0$$

1. 若 $\text{rank}({\mathbf{A}}_{m\times n})=n$ (列满秩)，方程有唯一解 (零解)。

2. 若 $\text{rank}({\mathbf{A}}_{m\times n})?=n$ (列不满秩)，方程有无穷解。

这两个结论很好理解了，因为当 $\mathbf{A}$ 列满秩时候，它的列线性无关: column space $C(\mathbf{A})$是 ${\mathbb{R}}^n$，null space $N(\mathbf{A})$ 只有一个全零解。另一方面，如果$\mathbf{A}$ 列不满秩，它的null space是一个space，当然是无穷解了。