线性回归回顾
一开始使用最小二乘估计从概率角度考虑对应MLE(极大似然拟合),容易过拟合，引入了Regularized LSE（有两种：Lasso及Ridge）从概率角度来看，属于最大后验回归。对于
p(w)p(w)p(w)如果属于高斯分布，则为Ridge,如果属于Laplace，则对应Lasso回归。
不论是最小二乘估计还是正则化的最小二乘估计，都是属于频率派，即认为www是未知常数，属于点估计。
贝叶斯估计
要求出后验概率（并不是优化问题）
主要有两个问题：inference:求posterior(w),prediction主要有两个问题：inference :求posterior(w),prediction主要有两个问题：inference:求posterior(w),prediction
3.3.1 Parameter distribution
在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。即p(w)先验分布与似然分布p(t∣x,w,β)p(t|x,w,\beta)p(t∣x,w,β)有相同的分布
