频率派、贝叶斯派看over fitting
由回归问题引出偏差方差分解
这里对原始要拟拿数据进行了一定的假设,假设原始数据服从一定的分布p(t)p(t)p(t),(一般是均值是一条光滑曲线,方差属于高斯噪声),假定数据是从服从p(t)p(t)p(t)的分布中采集的,我们期望通过采集的样本进行拟合从而得知原始数据的真实分布。
那么上面对应的期望均值h(x)h(x)h(x)便是最优的对真实的分布的估计(脑海中思考它的图像)
频率派认为要想估计出样本真实服从的分布p(t,x)p(t,x)p(t,x)是高度依赖于训练的样本集的,不同的样本集拟合出来的曲线是不一样的,产生的误差是不一样的,因此需要在不同的样本集上求不同拟合曲线求平均拟合误差。
式3-37中第二项表示真实分布的均值与噪声之间波动,取决了真实数据分布,是常数,无法进行优化
考虑特定某个样本集对数据的拟合
总而言之,频率派认为原始数据是服从确定性分布的,但是估计其真实分布需要不同的数据集训练得到的曲线求平均;贝叶斯派认为原始数据的分布是随机变量,不是确定的