文章目录
-
-
-
-
- 与多项式回归的对比：多项式基函数的缺点，详细以后再补存
- 常用基函数
-
-
- 3.1.1 Maximum likelihood and least squares
-
-
-
-
- 与ＧＭＭ的区别：单峰的而GMM是多峰的
- 由正态分布得到具体的形式
- 高斯噪声、线性模型最大化似然等价于最小化MSE
- 一点点简单的证明
- 书中统一将导数转化为行向量，可以使得计算www方便，如下示
- 线性基函数模型中w0w_0w0?权重的意义：
-
-
-
-
与多项式回归的对比：多项式基函数的缺点，详细以后再补存
常用基函数
3.1.1 Maximum likelihood and least squares
与ＧＭＭ的区别：单峰的而GMM是多峰的
多个数据此时下标表示样本个数
由正态分布得到具体的形式
高斯噪声、线性模型最大化似然等价于最小化MSE
一点点简单的证明
f=wT?(xn)f=\mathbf{w}^T\mathbf{\bm\phi(x_n)}f=wT?(xn?)df=(dw)T?(xn)df=\mathbf{(dw)}^T\mathbf{\bm\phi(x_n)}df=(dw)T?(xn?)df=tr((dw)T?(xn))df=tr(\mathbf{(dw)}^T\mathbf{\bm\phi(x_n)})df=tr((dw)T?(xn?))df=tr(?(xn)Tdw)df=tr(\mathbf{\bm\phi(x_n)}^T\mathbf{dw})df=tr(?(xn?)Tdw)?f?w=?(xn)\frac{\partial f}{\partial \mathbf{w}}=\mathbf{\bm\phi(x_n)}?w?f?=?(xn?)
标量对列向量的求导还是列向量，因此书中不是转置（写成行向量求导更容易）
书中统一将导数转化为行向量，可以使得计算www方便，如下示
就以列向量进行推导
0=∑n=1Ntn?(xn)?∑n=1NwT?(xn)?(xn)0=\sum_{n=1}^{N} t_{n} \phi\left(\mathbf{x}_{n}\right)-\sum_{n=1}^{N} \mathbf{w}^{\mathrm{T}}\phi\left(\mathbf{x}_{n}\right) \boldsymbol{\phi}\left(\mathbf{x}_{n}\right) 0=n=1∑N?tn??(xn?)?n=1∑N?wT?(xn?)?(xn?)0=∑n=1Ntn?(xn)?∑n=1N?(xn)wT?(xn)0=\sum_{n=1}^{N} t_{n} \phi\left(\mathbf{x}_{n}\right)-\sum_{n=1}^{N} \boldsymbol{\phi}\left(\mathbf{x}_{n}\right)\mathbf{w}^{\mathrm{T}}\phi\left(\mathbf{x}_{n}\right) 0=n=1∑N?tn??(xn?)?n=1∑N??(xn?)wT?(xn?)0=∑n=1Ntn?(xn)?∑n=1N?(xn)?(xn)Tw0=\sum_{n=1}^{N} t_{n} \phi\left(\mathbf{x}_{n}\right)-\sum_{n=1}^{N} \phi\left(\mathbf{x}_{n}\right)\boldsymbol{\phi}\left(\mathbf{x}_{n}\right)^{\mathrm{T}} \mathbf{w} 0=n=1∑N?tn??(xn?)?n=1∑N??(xn?)?(xn?)Tw
第一项是ΦTt\boldsymbol{\Phi^{\mathrm{T}} \boldsymbol{t}}ΦTt,第二项是ΦTΦw\boldsymbol{\Phi}^{\mathrm{T}}\boldsymbol{\Phi}\boldsymbol{w}ΦTΦw
方差的估计值
线性基函数模型中w0w_0w0?权重的意义：
