3.1 Linear Basis Function Models（PRML 系列----3.1.5 Multiple outputs)

multiple, independent regression problems.

共享相同的基函数


对$\beta 求导可计算\beta 估计值$

多变量解耦：原因在于$W(M?K)$只定义了高斯噪声的输出，只考虑单变量即可

$W$中$K个变量之间的协方差解偶证明$
$$p(\mathbf{t}|\mathbf{x},\mathbf{W},\beta )=\mathcal{N}\left(\mathbf{t}|{\mathbf{W}}^{\mathrm{T}}?(\mathbf{x}),{\beta }^{?1}\mathbf{I}\right)$$$$对于单个样本来说,上面式子中\mathbf{t}表示K个变量，其均值{\mathbf{W}}^{\mathrm{T}}?(\mathbf{x})$$$$为K维向量，协方差矩阵为对角阵,说明变量之间相互独立$$

简单证明如下

$用到的公式：d|A|=tr(A^{?}dA),\frac{?|\mathbf{A}|}{?\mathbf{A}}=(A^{?}{)}^T=|A|(A^{?1}{)}^T,特别当A=\Sigma 为对称矩阵时，行列式对矩阵的导数=行列式?矩阵的逆$
$$A{A}^{?1}=\mathrm{I}$$$$dA{A}^{?1}+Ad{A}^{?1}=0$$$$d{A}^{?1}=?A^{?1}dA{A}^{?1}$$
有了以上公式对下式中的$\mathbf{\Sigma }$求导
$$\ln L(\mathbf{W},\mathbf{\Sigma })=?\frac{N}{2}\ln |\mathbf{\Sigma }|?\frac{1}{2}\sum _{n=1}^N{\left({\mathbf{t}}_n?{\mathbf{W}}^{\mathrm{T}}?\left({\mathbf{x}}_n\right)\right)}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1}\left({\mathbf{t}}_n?{\mathbf{W}}^{\mathrm{T}}?\left({\mathbf{x}}_n\right)\right)$$

$令A=({\mathbf{t}}_n?{\mathbf{W}}^{\mathrm{T}}?({\mathbf{x}}_{\mathbf{n}}))$
$$f=A^{\mathrm{T}}{\mathbf{\Sigma }}^{?1}A$$$$df=A^{\mathrm{T}}d{\mathbf{\Sigma }}^{?1}A=tr(A^{\mathrm{T}}d{\mathbf{\Sigma }}^{?1}A)=tr(A{A}^{\mathrm{T}}d{\mathbf{\Sigma }}^{?1})$$$$=?tr(A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1}d\mathbf{\Sigma }{\mathbf{\Sigma }}^{?1})=?tr({\mathbf{\Sigma }}^{?1}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1}d\mathbf{\Sigma })$$$$\frac{?f}{?\mathbf{\Sigma }}=?{\mathbf{\Sigma }}^{?1}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1}$$
因此有：
$$?\frac{N}{2}{\mathbf{\Sigma }}^{?1}+\frac{1}{2}\sum _{n=1}^N{\mathbf{\Sigma }}^{?1}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1}=0$$$$\sum _{n=1}^N{\mathbf{\Sigma }}^{?1}+\sum _{n=1}^N{\mathbf{\Sigma }}^{?1}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1}=0$$$$?\sum _{n=1}^N{\mathbf{\Sigma }}^{?1}(\mathrm{I}?A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1})=0$$$$\sum _{n=1}^N(\mathrm{I}?A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1})=0$$$$N\mathrm{I}=\sum _{n=1}^{N}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{?1}$$$$\mathbf{\Sigma }=\frac{1}{N}\sum _{n=1}^{N}A{A}^{\mathrm{T}}$$