概率 + 统计参数估计（七）_综合

参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.

在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.

参数估计问题的一般提法

设有一个统计总体 , 总体的分布函数为 $F(x,\theta)$ ，其中 $\theta$ 为未知参数 ( $\theta$ 可以是向量) 。现从该总体抽样，得样本 $X_1,X_2,\cdots,X_n$ 要依据该样本对参数 $\theta$ 作出估计, 或估计 $\theta$ 的某个已知函数 $g(\theta)$ 。这类问题称为参数估计。

点估计

引例: 已知某地区新生婴儿的体重 $X \sim N(\mu, \sigma)$ ，（ $\mu, \sigma$ 未知）

随机抽查100个婴儿 ,得100个体重数据，10,7,6,6.5,5,5.2, …，而全部信息就由这100个数组成 .据此,我们应如何估计 $\mu, \sigma$ ？

为估计 $\mu$

我们需要构造出适当的样本的函数 $T(X_1,X_2,\cdots,X_n)$ ，每当有了样本，就代入该函数中算出一个值，用来作为 $\mu$ 的估计值。 $T(X_1,X_2,\cdots,X_n)$ 称为参数 $\mu$ 点估计量，把样本值代入 $T(X_1,X_2,\cdots,X_n)$ 中，得到 $\mu$ 的一个点估计值。

用样本体重的均值 $\bar{X}$ 估计 $\mu$ ，类似地，用样本体重的方差 $S^2$ 估计 $\sigma^2$ ，类似：

$\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i,S^2 = \frac{1}{n - 1} \sum_{i=1}^n( X_i -\bar{X} )^2$

寻求估计量的方法

矩估计法
最大似然估计法
最小二乘法
贝叶斯方法

矩估计法

由辛钦大数定理 ,

这表明 , 当样本容量很大时 , 在统计上 , 可以用样本矩去估计总体矩 . 这一事实导出矩估计法.

定义:用样本原点矩估计相应的总体原点矩 , 又用样本原点矩的连续函数估计相应的总体原点矩的连续函数, 这种参数点估计法称为矩估计法 .理论依据:大数定律

矩估计法的优点是简单易行,并不需要事先知道总体是什么分布 .缺点是，当总体类型已知时，没有充分利用分布提供的信息 .

最大似然估计法

总体类型已知条件下使用的一种参数估计方法 .

估计量的评选标准

关于估计量的评选标准，我们必须强调指出：评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量 .

这是因为估计量是样本的函数, 是随机变量 . 因此，由不同的观测结果，就会求得不同的参数估计值. 因此一个好的估计，应在多次试验中体现出优良性 .

常用的几条标准是：

无偏性
有效性
相合性

无偏性

估计量是随机变量，对于不同的样本值会得到不同的估计值 . 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值. 这就引出无偏性这个标准 .

有效性

相合性

区间估计

前面，我们讨论了参数点估计. 它是用样本算得的一个值去估计未知参数. 但是，点估计值仅仅是未知参数的一个近似值，它没有给出这个近似值的误差范围，使用起来把握不大. 区间估计正好弥补了点估计的这个缺陷 .

我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含真正的参数值.

这里所说的“可靠程度”是用概率来度量的，称为置信度或置信水平.

习惯上把置信水平记作 $1-\alpha$ ，这里 $\alpha$ 是一个很小的正数.

置信水平的大小是根据实际需要选定的.例如，通常可取置信水平 $1-\alpha =0.95$ 或0.9等。根据一个实际样本，由给定的置信水平，我们求出一个尽可能小的区间 $(\underline{\theta}, \bar{\theta})$ ，使 $P(\underline{\theta} < \theta < \bar{\theta}) = 1 - \alpha$ ，称区间 $(\underline{\theta}, \bar{\theta})$ 的置信水平为 $1-\alpha$ 的置信区间.

置信区间定义

设 $\theta$ 是一个待估参数，给定 $\alpha > 0$ ，若由样本 $X_1,X_2,\cdots,X_n$ 确定的两个统计量 $\underline{\theta} = \underline{\theta}(X_1,X_2,\cdots,X_n)$ ， $\bar{\theta} = \bar{\theta}(X_1,X_2,\cdots,X_n)$ ，且 $\underline{\theta} = \underline{\theta}(X_1,X_2,\cdots,X_n)$ 满足 $P(\underline{\theta} < \theta < \bar{\theta}) = 1 - \alpha$ ，则称区间 $(\underline{\theta}, \bar{\theta})$ 是 $\theta$ 的置信水平（置信度 )为 $1-\alpha$ 的置信区间.

$\underline{\theta}$ 和 $\bar{\theta}$ 分别称为置信下限和置信上限.

目标：

要求 $\theta$ 以很大的可能被包含在区间 $(\underline{\theta}, \bar{\theta})$ 内，就是说，概率 $P(\underline{\theta} < \theta < \bar{\theta})$ 要尽可能大 .即要求估计尽量可靠.
估计的精度要尽可能的高. 如要求区间长度尽可能短， $\bar{\theta} - \underline{\theta}$ 或能体现该要求的其它准则.