第7章、贝叶斯分类器

7.1贝叶斯决策论

假设有$N$种可能的类别标记，即 $y$= { $c_1,c_2，\dots c_N$} ，${\lambda }_{ij}$ 是将一个真实标记为 $c_j$的样本误分类为$c_i$ 所产生的损失。$R(c_i|x)$样本$x$分类为$c_i$所产生的期望损失(expected loss) ，也称风险。

我们的任务是寻找一个判定准则 $h:x?>y$ 以最小化总体风险：

对每个样本$x$，若$h$ 能最小化条件风险$R(h(x)|x)$叫，则总体风险 $R(h)$将被最小化.

$h^{?}$称为贝叶斯最优分类器。

则误判损失${\lambda }_{ij}$可以写为：

条件风险：

由前面的公式可以推导如下公式：


不难看出，欲使用贝叶斯判定准则来最小化决策风险，首先要获得后验概$P(c|x)$. 然而，在现实任务中这通常难以直接获得.


$P(c)$ 是类"先验"(prior) 概率，类先验概率 $P(c)$ 表达了样本空间中各类样本所占的比例。 $P(x|c)$ 是样本 $x$相对于类标记$c$ 的类条件概率 ，或称为"似然"。$P(x)$ 对所有类标记均相同。估计 $P(c|x)$ 的问题就转化为如何基于训练数据$D$来估计先验$P(c)$ 和似然 $P(x|c)$。

7.2极大似然估计

估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计.假设 $P(x|c)$ 具有确定的形式并且被参数向量${\theta }_c$唯一确定，则我们的任务就是利用训练集 $D$估计参数${\theta }_c$。

令$D_c$ 表示训练集中第$c$类样本组成的集合，假设这些样本是独立同分布的，则参数 ${\theta }_c$ 对于数据集 $D_c$ 的似然是：

极大似然估计是试图在${\theta }_c$ 所有可能的取值中，找到一个能使数据出现的"可能性"最大的值.

连乘操作易造成下溢，通常使用对数似然：

此时参数${\theta }_c$的极大似然估计 ：

例如，在连续属性情形下，假设概率密度函数 $p(x|c)N({\mu }_c,{\sigma }_c^2)$，则参数${\mu }_c$和${\sigma }_c^2$的极大似然估计为：

估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布.

7.3朴素贝叶斯分类器

假设每个属性独立地对分类结果发生影响.

$d$为属性数目，$x_i$为$x$在第$i$个属性上的取值.

对所有类别来说 P(x) 相同：

$D_c$ 表示训练集 $D$中第$c$类样本组成的集合，若有充足的独立同分布样本，则可容易地估计出类先验概率

对离散属性而言，令 $D_{c,x_i}$ 表示 $D_c$ 中在第$i$个属性上取值为 $x_i$ 的样本组成的集合：

对连续属性可考虑概率密度函数，假定 $p(x_i|c)N({\mu }_{c,i},{\sigma }_{c,i}^2)$ 其中 ${\mu }_{c,i}$和${\sigma }_{c,i}^2$分别是第$c$类样本在第$i$个属性上取值的均值和方差，





为了避免其他属性携带的信息被训练集中未出现的属性值"抹去’，在估计概率值时通常要进行"平滑" ，常用"拉普拉斯修正" 。具体来说，令$N$表示训练集$D$中可能的类别数，$N_i$ 表示第$i$个属性可能的取值数。


拉普拉斯修正避免了因训练集样本不充分而导致概率估值为零的问题。