1. 频率学派与贝叶斯学派差别：
频率学派认为参数有一个固定得值，不会变化。 贝叶斯学派认为模型得参数应该是随机变量，即服从一个分布。
2. 贝叶斯估计中重要的概率关系：
P
贝叶斯估计有几个要点，
第一,我们要估计的参数也是服从一个分布的。
Note:因为这个参数符合一个分布，我们在求解算法的过程中会用到很多积分，比如，。
可以这样理解这个公式：对于一个样本点x的分布，它是由的所有可能取值来决定的。假如，我们把这个看做一个神经网络的参数，那么我们对于x的估计就是所有可能神经网络模型下，对x的估计的加权平均。权值是。这个权值就是我们从数据集D和先验里面推断出来的，当这个取到最大的时候就是贝叶斯方法对theta的估计
从数学角度来看，频率学派求解过程中是以求导为主，而贝叶斯学派求解则会涉及到很多积分，对于贝叶斯，不同参数代表不同的模型，求积分的过程实际上就是对不同模型的加权平均。
第二，总体而言，贝叶斯派因为使用积分，回比频率学派复杂的多，在数据集大的时候，一般我们使用频率学派的极大似然估计，而数据集较小的时候，我们偏向于使用贝叶斯估计。 当前常见的深度学习网络，实际上是极大似然的一个应用，即频率学派方法，（因为数据集极其大），对于分类而言，最小化交叉熵就是在极大化似然函数。
第三,贝叶斯学派的一个优势是，在使用贝叶斯估计时候，很有可能是随着推断改变的，这个极大似然不同，在极大似然的情况下，一旦假定了p(x|theta)的形式，那么我们最后得到的概率分布还是原来假定的形式。
（2019.05.07 最近在忙着帮老师写申请书，慢慢写把，太忙了）