【概率论】- (2)假设检验

在数据分析过程中， 一个完整的闭环是从数据中得到洞察，根据洞察得到某种假设，通过实验检验这一假设。

实验环节中会涉及到一些概率论知识，比如统计推断中重要的两类问题，区间估计和假设检验。之前概率论学过相关知识，但已经有些模糊，在此复习记录。

• 区间估计
• 假设检验

假设检验有两种求解思路，分别是：

• 临界值法：计算拒绝域，比较检验统计量与拒绝域确定结果
• p值检验法：计算检验统计量得到 $p$ 值，比较显著性水平与 $p$ 值确定结果

1. 概念与求解思路

1.1 关键概念

假设检验是什么？

在一些情况下，我们会对总体的某些未知特性作出假设（如考试分数均值为75），假设检验根据样本，对提出的假设作出接受或拒绝的决策。

我们把作出的假设叫原假设，相对立的假设叫备择假设。由于我们根据样本来接受或拒绝原假设，必然有决策出错的可能性，有两种错误——

• 弃真：原假设为真，而我们拒绝原假设，这种错误称为一型错误
• 取伪：原假设为假，而我们接受原假设，这种错误称为二型错误

注意，当样本容量固定时，若降低一种错误的概率，则另一种错误的概率往往增大，只有提升样本容量才能同时降低两种错误的概率。在对两种错误都有限制的情况下，样本容量如何计算，下一篇笔记中会结合AB实验中样本容量的确定一并说明。

而在假设检验中，通常做显著性检验，即将一型错误的概率限制在显著性水平 $\alpha$ 内，而不考虑二型错误。

我们会根据不同的问题选择不同的检验统计量，当检验统计量取某个区域C内的值时，我们拒绝原假设，则成区域C为拒绝域，C的边界称为临界点。

1.2 求解思路

假设检验的求解思路如下：

• 根据实际问题，提出原假设 $H_0$ 与备择假设 $H_1$
• 给定显著性水平 $\alpha$ 和样本容量 $n$
• 确定检验统计量与拒绝域的形式
• 按 $P(H_0为真时拒绝H_0)\le \alpha$ 求出拒绝域
• 取样，根据样本观测值接受或拒绝 $H_0$

2. 双边检验与单边检验

同上一篇笔记一样，我们假设总体为正态分布，以方差已知，检验均值问题为例，求解双边与单边检验问题。

2.1 双边检验

某车间用一台包装机包装葡萄糖，袋装糖的净重是服从正态分布的随机变量。当机器正常时，其均值为0.5kg，标准差为0.015kg。某日开工后随机抽取它包装的葡萄糖9袋，称得净重为（kg）：

0.497、0.506、0.518、0.524、0.498、0.511、0.520、0.515、0.512

问机器工作是否正常？（显著性水平为0.05）

按照上述思路，可求解如下——

• 提出原假设与备择假设

$H_0:\mu=\mu_0=0.5 \\ H_1:\mu \ne\mu_0\tag{1}$

• 方差已知，使用 $\frac{\bar X-\mu_0}{\sigma/\sqrt{n}} \sim N(0,1)$ 作为检验统计量，拒绝域形式为：（其中 $k$ 为常数，这一拒绝域应理解为，若原假设为真，而样本均值与 $\mu_0$ 的差异较大，出现这种情况的概率较小，偏向于拒绝原假设）

$|\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}|\ge k \tag{2}$

• 求解拒绝域如下

$P(H_0为真时拒绝H_0)=P_{\mu_0}(|\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}|\ge k)\le \alpha=0.05 \tag{3}$

• 令等号成立，由标准正态分布的上分位点确定常数 $k$ 的取值，即
  $P_{\mu_0}(|\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}|\ge k) = \alpha,\ 则\ k=z_{\alpha/2}\tag{4}$

• 即拒绝域为

$|\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}|\ge k=z_{\alpha/2}=1.96\tag{5}$

• 计算检验统计量

$|\frac{\bar x-\mu_0}{\sigma/\sqrt{n}}|=2.2>1.96\tag{6}$

• 位于拒绝域内，因此拒绝原假设，判断机器工作不正常。

2.2 单边检验

上面的检验问题中，备择假设中 $\mu$ 是“双边”的，这种形式的检验称为双边假设检验。

形如 $H_0:\mu\le\mu_0,H_1:\mu>\mu_0$ 的检验问题为右边检验；

形如 $H_0:\mu\ge\mu_0,H_1:\mu<\mu_0$ 的检验问题为左边检验。

天然牛奶的冰点温度近似服从正态分布，均值 $\mu_0=-0.545$ 摄氏度，标准差 $\sigma=0.008$ 摄氏度，牛奶掺水可使冰点提升而接近水的冰点。现测得某生产商提交的5批牛奶的冰点均值为 $\bar x=-0.535$ 摄氏度，问是否可认为生产商在牛奶中掺水？（显著性水平 $\alpha=0.05$）

对于这种问题，我们可以使用右边检验求解如下：

• 提出原假设与备择假设

$H_0:\mu\le\mu_0\\ H_1:\mu>\mu_0\tag{7}$

• 方差已知，使用 $\frac{\bar X-\mu_0}{\sigma/\sqrt{n}} \sim N(0,1)$ 作为检验统计量。若要拒绝原假设，即原假设为假，样本均值应偏大，拒绝域形式应为

$\bar X \ge k，即 \frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\ge \frac{k-\mu_0}{\sigma / \sqrt{n}} \tag{8}$

• 求解拒绝域如下，由于 $\mu<\mu_0$，显然有小于号成立

$P(H_0为真时拒绝H_0)=P_{\mu\le\mu_0}(\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\ge \frac{k-\mu_0}{\sigma / \sqrt{n}}) \le P_{\mu \le\mu_0}(\frac{\bar X-\mu}{\sigma/\sqrt{n}}\ge \frac{k-\mu_0}{\sigma / \sqrt{n}}) \tag{9}$

• 控制犯错概率不超过 $\alpha = 0.05$，只需满足

$P_{\mu \le\mu_0}(\frac{\bar X-\mu}{\sigma/\sqrt{n}}\ge \frac{k-\mu_0}{\sigma / \sqrt{n}})=\alpha\tag{10}$

• 由上分位点解得拒绝域为

$\frac{\bar X-\mu}{\sigma/\sqrt{n}}\ge z_{\alpha}=1.645\tag{11}$

• 代入样本数据，有

$\frac{\bar x-\mu}{\sigma/\sqrt{n}}=2.7951>1.645\tag{12}$

• 位于拒绝域内，故拒绝原假设，认为牛奶有掺水。

以上就是假设检验的单边检验与双边检验流程，类似的，左边检验的拒绝域形式为 $\frac{\bar X-\mu}{\sigma/\sqrt{n}}\le -z_{\alpha}$，其他的场景可能使用不同的检验统计量，如方差未知时，使用 $t$ 分布求解，此处不涉及。

3. 另一种求解思路：p值检验

3.1 求解思路

上面演示的临界值法本质上是根据显著性水平计算拒绝域，再比较检验统计量与拒绝域确定结果。这里介绍另一种常见的p值检验法，本质上是一样的，其流程为：

• 根据实际问题，提出原假设 $H_0$ 与备择假设 $H_1$
• 给定显著性水平 $\alpha$ 和样本容量 $n$
• 取样，计算检验统计量
• 根据统计量计算可被拒绝的最小显著性水平 $p$
• 比较显著性水平与 $p$ 值确定结果

3.2 单边检验

使用上述单边检验例子，演示下p值检验的过程——

• 提出原假设与备择假设

$H_0:\mu\le\mu_0\\ H_1:\mu>\mu_0\tag{13}$

• 计算检验统计量

$z_0=\frac{\bar x-\mu}{\sigma/\sqrt{n}}=2.7951\tag{14}$

• 计算可被拒绝的最小显著性水平 $p$

$p=P(Z\ge z_0)=1-\phi(z_0)=1-\phi(2.7951)=0.0026\tag{15}$

• 因为 $\alpha > p$，所以拒绝原假设。这里很好理解， $p$ 很小说明若 $H_0$ 成立，出现这种情况的概率很低，拒绝它犯错的概率只有0.0026，因此在0.05的要求下显然是可以拒绝的。

3.3 双边检验

在单边检验中，p值如下（右边检验与左边检验），为一边的面积。

而在双边检验中则需要考虑两边，如下图，因此计算 $p$ 时要记得求一边后乘以2，此处不再举例。

临界值法可以让我们判断在0.05水平下可以拒绝，但不能直接确定更低的水平能不能拒绝。相比之下，p值法更加实用，因为p值给出了拒绝的最小显著性水平，如我们只需给出p值为0.0026，不同的使用者自然知道自己需要的水平能否达到。

Reference

1. 《浙江大学概率论与数理统计第四版》