Conditional Guassian Distribution 条件高斯分布及其证明

1. 写在前面

~~~~~~       本文的公式证明来自陈喜群教授的PPT课件以及以及书本《模式识别与机器学习》，在此特别感谢。想写整个博客的原因也由于是网上的推导过程过于繁琐，陈教授的推导过程较为巧妙，但是由于本人基础较为薄弱，想到可能也有很多和我需求相同的人，因此在这里把我的详细公式推导贴在这里。

2. 高斯分布

2.1 一元高斯分布

~~~~~~      ?斯分布，也被称为正态分布，?泛应?于连续型随机变量分布的模型中。对于?元变量$x$的情形，?斯分布可以写成下?的形式:
$$N\left(x|\mu ,{\sigma }^2\right)=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{\frac{1}{2}}}\exp \left\{?\frac{1}{2{\sigma }^2}{\left(x?\mu \right)}^2\right\}$$
~~~~~~      其中，$\mu$代表均值，${\sigma }^2$代表方差。对于$D$维向量$x$。

2.2 多元高斯分布

多元高斯分布的形式为：
$$N\left(x|\mu ,\Sigma \right)=\frac{1}{{\left(2\pi \right)}^{\frac{D}{2}}}\frac{1}{{\left|\Sigma \right|}^{\frac{1}{2}}}\exp \left\{?\frac{1}{2}{\left(x?\mu \right)}^T{\Sigma }^{?1}\left(x?\mu \right)\right\}$$
~~~~~~      其中，$\mu$是一个$D$维均值向量，$\Sigma$是一个$D\times D$的协方差矩阵，$|\Sigma |$是$\Sigma$的行列式。

3. 条件高斯分布

3.1 准备工作

~~~~~~      多元?斯分布的?个重要性质是，如果两组变量是联合?斯分布，那么以?组变量为条件，另?组变量同样是?斯分布。类似地，任何?个变量的边缘分布也是 ?斯分布 。
~~~~~~       ?先考虑条件概率的情形。假设$x$是一个服从高斯分布$N(x|\mu ,\Sigma )$的$D$维度的向量，我们把$x$划分为两个不相交的子集$x_a$和$x_b$，不失?般性，我们可以令$x_a$为x的前$M$个分量，令$x_b$为剩余的$D?M$个分量，因此:
$$x=\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)$$
~~~~~~      我们也定义对应的对均值向量$\mu$的划分，即：
$$\mu =\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)$$
~~~~~~      协?差矩阵$\Sigma$为：
$$\Sigma =\left(\begin{array}{c}{\Sigma }_{aa}{\Sigma }_{ab}\\ {\Sigma }_{ba}{\Sigma }_{bb}\end{array}\right)$$
~~~~~~      这里，我对${\Sigma }_{aa}$不理解，因此特地了解了一下。根据协方差矩阵的计算公式，针对于二维变量$X(x_1,x_2)$,其协方差矩阵可以表示为：
$$\Sigma =\left(\begin{array}{c}\text{cov}\left(x_1,x_1\right)\text{cov}\left(x_1,x_2\right)\\ \text{cov}\left(x_2,x_1\right)\text{cov}\left(x_2,x_2\right)\end{array}\right)$$
~~~~~~      类比可知：
$${\Sigma }_{aa}=\text{cov}\left(x_a,x_a\right)=?\begin{array}{c}\text{cov}\left(x_1,x_1\right)...\text{cov}\left(x_1,x_a\right)\\ ??\\ \text{cov}\left(x_a,x_1\right)...\text{cov}\left(x_a,x_a\right)\end{array}?$$
~~~~~~      由于$\text{cov}(x_1,x_2)=\text{cov}(x_2,x_1)$可知，${\Sigma }_{aa}$是一个正交矩阵
~~~~~~      同理：${\Sigma }_{ab}$为：
$${\Sigma }_{ab}=\text{cov}\left(x_a,x_b\right)=?\begin{array}{c}\text{cov}\left(x_1,x_1\right)...\text{cov}\left(x_1,x_b\right)\\ ??\\ \text{cov}\left(x_a,x_1\right)...\text{cov}\left(x_a,x_b\right)\end{array}?$$
~~~~~~      观察其结构，我们同样可以发现，${\Sigma }_{ab}={\Sigma }_{ba}^{?1}$。

3.2 条件高斯分布的结论

~~~~~~      $p(x_a)$表示$M$维的高斯分布,$p(x_b)$表示$D?M$维的高斯分布，我们可以得到条件概率分布$p(x_a|x_b)$的均值和协方差的表达式：
$${\mu }_{a|b}={\mu }_a+{\Sigma }_{ab}{\Sigma }_{bb}^{?1}\left(x_b?{\mu }_b\right)$$
$${\Sigma }_{a|b}={\Sigma }_{aa}?{\Sigma }_{ab}{\Sigma }_{bb}^{?1}{\Sigma }_{ba}$$

4. 高斯条件分布的证明

4.1 构造变量

~~~~~~      这里通过一个非常巧妙的方法构造了一个$m\times M$维的矩阵$z$（我们假设$x$是$m\times D维的$）
$$z=x_a+\text{A}{x}_b\text{where}\text{A}=?{\Sigma }_{ab}{\Sigma }_{bb}^{?1}$$
~~~~~~      现在，我们来计算$\text{cov}(z,x_b)$：
$$\begin{gathered} \text{Cov}\left(z,x_b\right)=\text{Cov}\left(x_a+\text{A}{x}_b,x_b\right)=\text{Cov}\left(x_a,x_b\right)+\text{ACov}\left(x_b,x_b\right) \\ ={\Sigma }_{ab}?{\Sigma }_{ab}{\Sigma }_{bb}^{?1}{\Sigma }_{bb}=0 \end{gathered}$$
~~~~~~      通过巧妙的设计，我们实现了$\text{cov}(z,x_b)$=0，后面我们需要用到这个结论。

4.2 公式证明

均值的证明：
~~~~~~      首先给出$\text{E}(z)$的表达式：$\text{E}(z)=\mu +\text{A}{\mu }_b$
$$\text{E}\left(x_a|x_b\right)=\text{E}\left(z?\text{A}{x}_b|x_b\right)=\text{E}\left(z|x_b\right)?A\text{E}\left(x_b|x_b\right)$$
由于$\text{cov}(z,x_b)$=0，可得：
$$\text{E}\left(z|x_b\right)=\text{E}\left(z\right)={\mu }_a+\text{A}{\mu }_b$$
$$\text{E}\left(x_b|x_b\right)=x_b(因为x_b是确定的)$$
~~~~~~      那么
$$\begin{gathered} \text{E}\left(x_a|x_b\right)=\text{E}\left(z?\text{A}{x}_b|x_b\right)=\text{E}\left(z|x_b\right)?A\text{E}\left(x_b|x_b\right) \\ ={\mu }_a+\text{A}{\mu }_b?A{x}_b={\mu }_a+{\Sigma }_{ab}{\Sigma }_{bb}^{?1}\left(x_b?{\mu }_b\right) \end{gathered}$$
方差的证明：
$$\text{Var}\left(x_a|x_b\right)=\text{Var}\left(z?\text{A}{x}_b|x_b\right)=\text{Var}\left(z|x_b\right)+\text{Var}\left(\text{A}{x}_b|x_b\right)?\text{ACov}\left(z,?x_b\right)?\text{Cov}\left(z,?x_b\right){\text{A}}^{\text{T}}$$

~~~~~~      由题：
$$\text{cov}(z,x_b)=0$$
$$\text{Var}\left(z|x_b\right)=\text{Var}\left(z\right)$$
$$\text{Var}\left(\text{A}{x}_b|x_b\right)=0$$
~~~~~~      那么：
$$\text{Var}\left(\text{A}{x}_b|x_b\right)=\text{Var}\left(z\right)$$
~~~~~~      展开$\text{Var}\left(z\right)$:
$$\text{Var}\left(z\right)=\text{Var}\left(x_a\right)+\text{AVar}\left(x_b\right){\text{A}}^{\text{T}}+\text{ACov}\left(x_a,x_b\right)+\text{Cov}\left(x_a,x_b\right){\text{A}}^{\text{T}}$$
~~~~~~      带入：
$$\begin{gathered} \text{Var}\left(x_a\right)={\Sigma }_{aa} \\ \text{A}=?{\Sigma }_{ab}{\Sigma }_{bb}^{?1} \\ \text{Cov}\left(x_a,x_b\right)={\Sigma }_{ab} \end{gathered}$$
~~~~~~      可得到：
$$\text{Var}\left(z\right)={\Sigma }_{ab}?{\Sigma }_{ab}{\Sigma }_{bb}^{?1}{\Sigma }_{b\text{a}}$$

5. 参考资料

1.陈喜群：交通大数据PPT
2.《模式识别与机器学习》