当前位置: 代码迷 >> 综合 >> 机器学习|参数的假设检验(显著性检验)-- 与区间估计的异同+ 一般步骤(实际应用)+ 两类错误|20mins 入门|概统学习笔记(三十一)
  详细解决方案

机器学习|参数的假设检验(显著性检验)-- 与区间估计的异同+ 一般步骤(实际应用)+ 两类错误|20mins 入门|概统学习笔记(三十一)

热度:6   发布时间:2023-12-21 14:20:40.0
  • 假设检验的一般步骤

    某工厂生产的一种螺钉,标准要求长度是32.5毫米。实际生产的产品,其长度X假定服从正态分布 N ( μ , σ 2 ) , σ 2 N(\mu, \sigma^2), \sigma^2 N(μ,σ2),σ2未知,现从该厂生产的一批产品中抽取6件,得尺寸数据如下:

    32.56, 29.66, 31.64, 30.00, 31.87, 31.87, 31.03

    问这批产品是否合格?( α = 0.01 \alpha=0.01 α=0.01)

    分析:这批产品(螺钉长度)的全体组成问题的总体X。现在要检验 E ( X ) E(X) E(X)是否为32.5毫米。

    第一步:提出原假设和备选假设
    H 0 : μ = 32.5 ; H 1 : μ ≠ 32.5 H_0:\mu=32.5 ;\quad H_1:\mu \neq 32.5 H0?:μ=32.5;H1?:μ??=32.5
    第二步:取一检验统计量,在 H 0 H_0 H0?成立下求出它的分布。
    t = X ? ? 32.5 S / 6 ? t ( 5 ) t = \frac{\overline X-32.5}{S/\sqrt 6} \sim t(5) t=S/6 ?X?32.5??t(5)
    能衡量差异大小且分布已知。

    第三步:对给定的显著性水平 a l p h a = 0.01 alpha=0.01 alpha=0.01,查表确定临界值。
    t α / 2 ( 5 ) = t 0.005 ( 5 ) = 4.0322 t_{\alpha/2}(5)=t_{0.005}(5)=4.0322 tα/2?(5)=t0.005?(5)=4.0322

    ∴ P { ∣ t ∣ > t α / 2 ( 5 ) } = α \therefore P\{|t|>t_{\alpha/2}(5)\}=\alpha P{ t>tα/2?(5)}=α

    " ∣ t ∣ > t α / 2 ( 5 ) " "|t|>t_{\alpha/2}(5)" "t>tα/2?(5)"是一个小概率事件。而小概率事件在一次试验中基本上不会发生。

    得否定域 W : ∣ t ∣ > 4.0322 W:|t|>4.0322 W:t>4.0322

    第四步:将样本值代入算出统计量t的实测值。
    ∣ t ∣ = 2.997 |t|=2.997 t=2.997
    第五步:给出结论。
    ∣ t ∣ = 2.997 < 4.0322 |t|=2.997<4.0322 t=2.997<4.0322
    没有落入拒绝域,故不能拒绝 H 0 H_0 H0?

    注意:这并不意味着 H 0 H_0 H0?一定对,只是差异还不够显著,不足以否定 H 0 H_0 H0?

  • 思考:假设检验会不会犯错误呢?

    由于作出结论的依据是”小概率原理“,即小概率事件在一次试验中基本上不会发生。但不是一定不发生。

  • 假设检验的两类错误:

    第一类:如果 H 0 H_0 H0?成立,但统计量的实测值落入否定域,从而作出否定 H 0 H_0 H0?的结论,那就犯了”以真为假“的错误。

    第二类:如果 H 0 H_0 H0?不成立,但统计量的实测值未落入否定域,从而没有作出否定 H 0 H_0 H0?的结论,即接受了错误的 H 0 H_0 H0?,那就犯了”以假为真“的错误。

在这里插入图片描述
犯两类错误的概率:
P { 拒 绝 H 0 ∣ H 0 为 真 } = α P { 接 受 H 0 ∣ H 0 不 真 } = β P\{拒绝H_0|H_0为真\}=\alpha \\ P\{接受H_0|H_0不真\}=\beta P{ H0?H0?}=αP{ H0?H0?}=β
两类错误是互相关联的,当样本容量固定时,一类错误概率的减少导致另一类错误概率的增加。

要同时降低两类错误的概率 α , β \alpha,\beta α,β,或者要在 α \alpha α不变的条件下降低 β \beta β,需要增加样本容量。

  • 假设检验和区间估计

    关系:参数的区间估计和假设检验从不同的角度回答同一问题,它们的统计推断方法是相通的。参数的区间估计可通过利用假设检验的方法来解决,同样,参数的假设检验问题可通过利用区间估计的方法来解决。

    区别:

    1. 参数估计解决的是多少(或范围)的问题;假设检验则判断结论是否成立。前者解决的是定量问题,后者解决的是定性问题。
    2. 两者的要求不同。区间估计确定在一定概率保证程度下给出未知参数的范围。而假设检验确定在一定的置信水平下,未知参数能否接受已给定的值。
    3. 两者对问题的了解程度各不相同。进行区间估计之前不了解未知参数的有关信息。而假设检验对未知参数的信息有所了解,但作出某种判断无确切把握。
  • 单侧检验

    e.g.

    (1)某织物强力指标X的均值 μ 0 = 21 \mu_0=21 μ0?=21公斤,改进工艺后生成一批织物,今从中取30件,测得 X ? = 21.55 \overline X=21.55 X=21.55公斤。假设强力指标服从正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2),且 σ = 1.2 \sigma=1.2 σ=1.2公斤,问在显著性水平 α = 0.01 \alpha=0.01 α=0.01下,新生产织物比过去的织物强力是否有提高?

    解:提出假设: H 0 : μ ≤ 21 , H 1 : μ > 21 H_0:\mu\leq 21,\quad H_1:\mu>21 H0?:μ21,H1?:μ>21

    取统计量 U = X ? ? 21 σ / n ? N ( 0 , 1 ) U=\frac{\overline X-21}{\sigma/\sqrt n}\sim N(0,1) U=σ/n ?X?21??N(0,1)

    否定域为 W : U > μ 0.01 = 2.33 W:U>\mu_{0.01}=2.33 W:U>μ0.01?=2.33

    代入样本值,计算得统计量U的实测值
    U = 2.51 > 2.33 U=2.51>2.33 U=2.51>2.33
    落入否定域中,故拒绝原假设 H 0 H_0 H0?

    此时可能犯第一类错误,因为实际的 H 0 H_0 H0?可能为真,但是犯错误的概率不超过 0.01 0.01 0.01

    (2)为比较两台自动机床的精度,分别取容量为10和8的两个样本,测量某个指标的尺寸(假定服从正态分布),得到下列结果:

    车床甲: 1.08 1.10 1.12 1.14 1.15 1.25 1.36 1.38 1.40 1.42
    车床乙: 1.11 1.12 1.18 1.22 1.33 1.35 1.36 1.38

    α = 0.1 \alpha=0.1 α=0.1时,问这两台机床是否有同样的精度?

    解:设两台自动机床的方差分别为 σ 1 2 , σ 2 2 \sigma_1^2,\sigma_2^2 σ12?,σ22?,

    α = 0.1 \alpha=0.1 α=0.1下检验假设:
    H 0 : σ 1 2 = σ 2 2 , H 1 : σ 1 2 ≠ σ 2 2 H_0:\sigma_1^2 = \sigma_2^2 ,\quad H_1: \sigma^2_1 \neq \sigma_2^2 H0?:σ12?=σ22?,H1?:σ12???=σ22?
    取统计量
    F = S 1 2 S 2 2 ? F ( 9 , 7 ) F=\frac{S_1^2}{S_2^2} \sim F(9,7) F=S22?S12???F(9,7)
    其中, σ 1 2 , σ 2 2 \sigma_1^2,\sigma_2^2 σ12?,σ22?为两样本的样本方差.

    否定域为
    F ≤ F 1 ? α / 2 ( 9 , 7 ) 或 F ≥ F a / 2 ( 9 , 7 ) F \leq F_{1-\alpha/2}(9,7)或F\geq F_{a/2}(9,7) FF1?α/2?(9,7)FFa/2?(9,7)
    由样本值可计算得F的实测值为:
    F = 1.51 F=1.51 F=1.51
    查表得
    F a / 2 ( 9 , 7 ) = F 0.05 ( 9 , 7 ) = 3.68 F 1 ? a / 2 ( 9 , 7 ) = F 0.95 ( 9 , 7 ) = 1 F 0.05 ( 7 , 9 ) = 1 3.29 = 0.304 F_{a/2}(9,7)=F_{0.05}(9,7)=3.68 \\ F_{1-a/2}(9,7)=F_{0.95}(9,7)=\frac{1}{F_{0.05}(7,9)}=\frac{1}{3.29}=0.304 Fa/2?(9,7)=F0.05?(9,7)=3.68F1?a/2?(9,7)=F0.95?(9,7)=F0.05?(7,9)1?=3.291?=0.304
    由于 0.304<1.51<3.68, 故接受 H 0 H_0 H0?,这时可能犯第二类错误,因为实际的 H 0 H_0 H0?可能为假。

  • 注意:到现在为止,我们讨论的都是正态总体均值和方差的假设检验,或样本容量较大,可用正态近似的情形。

  • 总结:

    在这里插入图片描述

    ? 一般来说,按照检验所用的统计量的分布,分为

    ? U检验 — 用正态分布

    ? t检验 — 用t分布

    ? χ 2 \chi^2 χ2检验 — 用 χ 2 \chi^2 χ2分布

    ? F检验 — 用F分布

    ? 在大样本的条件下,若能求得检验统计量的极限分布,依据它去决定临界值C。

    ? 按照对立假设的提法,分为

    ? 双侧检验,它的拒绝域取在两侧;

    ? 单侧检验,它的拒绝域取在左侧或右侧。