当前位置: 代码迷 >> 综合 >> 【概率论】- (2)假设检验
  详细解决方案

【概率论】- (2)假设检验

热度:18   发布时间:2024-01-24 16:53:24.0

文章目录

      • 1. 概念与求解思路
        • 1.1 关键概念
        • 1.2 求解思路
      • 2. 双边检验与单边检验
        • 2.1 双边检验
        • 2.2 单边检验
      • 3. 另一种求解思路:p值检验
        • 3.1 求解思路
        • 3.2 单边检验
        • 3.3 双边检验
      • Reference

在数据分析过程中, 一个完整的闭环是从数据中得到洞察,根据洞察得到某种假设,通过实验检验这一假设

实验环节中会涉及到一些概率论知识,比如统计推断中重要的两类问题,区间估计假设检验。之前概率论学过相关知识,但已经有些模糊,在此复习记录。

  • 区间估计
  • 假设检验

假设检验有两种求解思路,分别是:

  • 临界值法:计算拒绝域,比较检验统计量拒绝域确定结果
  • p值检验法:计算检验统计量得到 p p 值,比较显著性水平 p p 确定结果

1. 概念与求解思路

1.1 关键概念

假设检验是什么?

在一些情况下,我们会对总体的某些未知特性作出假设(如考试分数均值为75),假设检验根据样本,对提出的假设作出接受或拒绝的决策

我们把作出的假设叫原假设,相对立的假设叫备择假设。由于我们根据样本来接受或拒绝原假设,必然有决策出错的可能性,有两种错误——

  • 弃真:原假设为真,而我们拒绝原假设,这种错误称为一型错误
  • 取伪:原假设为假,而我们接受原假设,这种错误称为二型错误

注意,当样本容量固定时,若降低一种错误的概率,则另一种错误的概率往往增大,只有提升样本容量才能同时降低两种错误的概率。在对两种错误都有限制的情况下,样本容量如何计算,下一篇笔记中会结合AB实验中样本容量的确定一并说明。

而在假设检验中,通常做显著性检验,即将一型错误的概率限制在显著性水平 α \alpha 内,而不考虑二型错误

我们会根据不同的问题选择不同的检验统计量,当检验统计量取某个区域C内的值时,我们拒绝原假设,则成区域C为拒绝域,C的边界称为临界点

1.2 求解思路

假设检验的求解思路如下:

  • 根据实际问题,提出原假设 H 0 H_0 与备择假设 H 1 H_1
  • 给定显著性水平 α \alpha 和样本容量 n n
  • 确定检验统计量与拒绝域的形式
  • P ( H 0 H 0 ) α P(H_0为真时拒绝H_0)\le \alpha 求出拒绝域
  • 取样,根据样本观测值接受或拒绝 H 0 H_0

2. 双边检验与单边检验

同上一篇笔记一样,我们假设总体为正态分布,以方差已知,检验均值问题为例,求解双边与单边检验问题。

2.1 双边检验

某车间用一台包装机包装葡萄糖,袋装糖的净重是服从正态分布的随机变量。当机器正常时,其均值为0.5kg,标准差为0.015kg。某日开工后随机抽取它包装的葡萄糖9袋,称得净重为(kg):

0.497、0.506、0.518、0.524、0.498、0.511、0.520、0.515、0.512

问机器工作是否正常?(显著性水平为0.05)

按照上述思路,可求解如下——

  • 提出原假设与备择假设

H 0 : μ = μ 0 = 0.5 H 1 : μ μ 0 (1) H_0:\mu=\mu_0=0.5 \\ H_1:\mu \ne\mu_0\tag{1}

  • 方差已知,使用 X ˉ ? μ 0 σ / n ? N ( 0 , 1 ) \frac{\bar X-\mu_0}{\sigma/\sqrt{n}} \sim N(0,1) 作为检验统计量,拒绝域形式为:(其中 k k 为常数,这一拒绝域应理解为,若原假设为真,而样本均值与 μ 0 \mu_0 的差异较大,出现这种情况的概率较小,偏向于拒绝原假设

X ˉ ? μ 0 σ / n k (2) |\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}|\ge k \tag{2}

  • 求解拒绝域如下

P ( H 0 H 0 ) = P μ 0 ( X ˉ ? μ 0 σ / n k ) α = 0.05 (3) P(H_0为真时拒绝H_0)=P_{\mu_0}(|\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}|\ge k)\le \alpha=0.05 \tag{3}

  • 令等号成立,由标准正态分布的上分位点确定常数 k k 的取值,即
    P μ 0 ( X ˉ ? μ 0 σ / n k ) = α ,     k = z α / 2 (4) P_{\mu_0}(|\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}|\ge k) = \alpha,\ 则\ k=z_{\alpha/2}\tag{4}

  • 即拒绝域为

X ˉ ? μ 0 σ / n k = z α / 2 = 1.96 (5) |\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}|\ge k=z_{\alpha/2}=1.96\tag{5}

  • 计算检验统计量

x ˉ ? μ 0 σ / n = 2.2 > 1.96 (6) |\frac{\bar x-\mu_0}{\sigma/\sqrt{n}}|=2.2>1.96\tag{6}

  • 位于拒绝域内,因此拒绝原假设,判断机器工作不正常。

2.2 单边检验

上面的检验问题中,备择假设中 μ \mu 是“双边”的,这种形式的检验称为双边假设检验。

形如 H 0 : μ μ 0 , H 1 : μ > μ 0 H_0:\mu\le\mu_0,H_1:\mu>\mu_0 的检验问题为右边检验

形如 H 0 : μ μ 0 , H 1 : μ < μ 0 H_0:\mu\ge\mu_0,H_1:\mu<\mu_0 的检验问题为左边检验

天然牛奶的冰点温度近似服从正态分布,均值 μ 0 = ? 0.545 \mu_0=-0.545 摄氏度,标准差 σ = 0.008 \sigma=0.008 摄氏度,牛奶掺水可使冰点提升而接近水的冰点。现测得某生产商提交的5批牛奶的冰点均值为 x ˉ = ? 0.535 \bar x=-0.535 摄氏度,问是否可认为生产商在牛奶中掺水?(显著性水平 α = 0.05 \alpha=0.05

对于这种问题,我们可以使用右边检验求解如下:

  • 提出原假设与备择假设

H 0 : μ μ 0 H 1 : μ > μ 0 (7) H_0:\mu\le\mu_0\\ H_1:\mu>\mu_0\tag{7}

  • 方差已知,使用 X ˉ ? μ 0 σ / n ? N ( 0 , 1 ) \frac{\bar X-\mu_0}{\sigma/\sqrt{n}} \sim N(0,1) 作为检验统计量。若要拒绝原假设,即原假设为假,样本均值应偏大,拒绝域形式应为

X ˉ k X ˉ ? μ 0 σ / n k ? μ 0 σ / n (8) \bar X \ge k,即 \frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\ge \frac{k-\mu_0}{\sigma / \sqrt{n}} \tag{8}

  • 求解拒绝域如下,由于 μ < μ 0 \mu<\mu_0 ,显然有小于号成立

P ( H 0 H 0 ) = P μ μ 0 ( X ˉ ? μ 0 σ / n k ? μ 0 σ / n ) P μ μ 0 ( X ˉ ? μ σ / n k ? μ 0 σ / n ) (9) P(H_0为真时拒绝H_0)=P_{\mu\le\mu_0}(\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\ge \frac{k-\mu_0}{\sigma / \sqrt{n}}) \le P_{\mu \le\mu_0}(\frac{\bar X-\mu}{\sigma/\sqrt{n}}\ge \frac{k-\mu_0}{\sigma / \sqrt{n}}) \tag{9}

  • 控制犯错概率不超过 α = 0.05 \alpha = 0.05 ,只需满足

P μ μ 0 ( X ˉ ? μ σ / n k ? μ 0 σ / n ) = α (10) P_{\mu \le\mu_0}(\frac{\bar X-\mu}{\sigma/\sqrt{n}}\ge \frac{k-\mu_0}{\sigma / \sqrt{n}})=\alpha\tag{10}

  • 由上分位点解得拒绝域为

X ˉ ? μ σ / n z α = 1.645 (11) \frac{\bar X-\mu}{\sigma/\sqrt{n}}\ge z_{\alpha}=1.645\tag{11}

  • 代入样本数据,有

x ˉ ? μ σ / n = 2.7951 > 1.645 (12) \frac{\bar x-\mu}{\sigma/\sqrt{n}}=2.7951>1.645\tag{12}

  • 位于拒绝域内,故拒绝原假设,认为牛奶有掺水。

以上就是假设检验的单边检验与双边检验流程,类似的,左边检验的拒绝域形式为 X ˉ ? μ σ / n ? z α \frac{\bar X-\mu}{\sigma/\sqrt{n}}\le -z_{\alpha} ,其他的场景可能使用不同的检验统计量,如方差未知时,使用 t t 分布求解,此处不涉及。

3. 另一种求解思路:p值检验

3.1 求解思路

上面演示的临界值法本质上是根据显著性水平计算拒绝域,再比较检验统计量拒绝域确定结果。这里介绍另一种常见的p值检验法,本质上是一样的,其流程为:

  • 根据实际问题,提出原假设 H 0 H_0 与备择假设 H 1 H_1
  • 给定显著性水平 α \alpha 和样本容量 n n
  • 取样,计算检验统计量
  • 根据统计量计算可被拒绝的最小显著性水平 p p
  • 比较显著性水平 p p 确定结果

3.2 单边检验

使用上述单边检验例子,演示下p值检验的过程——

  • 提出原假设与备择假设

H 0 : μ μ 0 H 1 : μ > μ 0 (13) H_0:\mu\le\mu_0\\ H_1:\mu>\mu_0\tag{13}

  • 计算检验统计量

z 0 = x ˉ ? μ σ / n = 2.7951 (14) z_0=\frac{\bar x-\mu}{\sigma/\sqrt{n}}=2.7951\tag{14}

  • 计算可被拒绝的最小显著性水平 p p

p = P ( Z z 0 ) = 1 ? ? ( z 0 ) = 1 ? ? ( 2.7951 ) = 0.0026 (15) p=P(Z\ge z_0)=1-\phi(z_0)=1-\phi(2.7951)=0.0026\tag{15}

  • 因为 α > p \alpha > p ,所以拒绝原假设。这里很好理解, p p 很小说明若 H 0 H_0 成立,出现这种情况的概率很低,拒绝它犯错的概率只有0.0026,因此在0.05的要求下显然是可以拒绝的。

3.3 双边检验

在单边检验中,p值如下(右边检验与左边检验),为一边的面积。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YX9pbsQJ-1578044013798)()]

而在双边检验中则需要考虑两边,如下图,因此计算 p p 时要记得求一边后乘以2,此处不再举例。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2zwmstZ6-1578044013801)(/)]

临界值法可以让我们判断在0.05水平下可以拒绝,但不能直接确定更低的水平能不能拒绝。相比之下,p值法更加实用,因为p值给出了拒绝的最小显著性水平,如我们只需给出p值为0.0026,不同的使用者自然知道自己需要的水平能否达到。

Reference

  1. 《浙江大学概率论与数理统计第四版》