【数理统计】基本概念

数理统计基本概念

总体、样本和统计模型

例 1 有一批产品，总数为 $N$。在 $N$ 件产品中，有 $N_{\theta }$ 件次品，$\theta$ 为这批产品的次品率。$\theta$ 是我们感兴趣的参数，通常是未知的，需要利用统计方法对参数 $\theta$ 做出推断。

• 总体（Population）：研究对象的全体，如例 1 中的这批产品就构成总体。通常用 $X,Y$ 等表示。
• 个体：总体中的每个对象，如例 1 中的每个产品。
• 样本（Sample）：$X_1,X_2,?,X_n$，样本的实现称为样本的一组观察值（Observation or data），记为 $x_1,x_2,?,x_n$。
  • 为了方便若不加特别声明，用 $x_1,x_2,?,x_n$ 既表示样本，又表示岩本观察值。
• 样本空间（Sample Space）：样本所有可能的取值构成的空间。
• 在统计中，对总体的推断，实际上是推断总体的分布，即确定总体的分布。为此，我们可以根据对总体了解程度，假设总体的分布属于某个分布族 {PΘ,θ∈Θ}\{P_{\Theta}, \theta\in\Theta\}{ PΘ?,θ∈Θ}，至于其中哪一个分布最适合还得通过统计推断来确定，因此往往将 {PΘ,θ∈Θ}\{P_{\Theta}, \theta\in\Theta\}{ PΘ?,θ∈Θ} 称为总体分布族。其中，$\Theta$ 称为参数空间（Parameter Space）。

如例 1 中，总体分布族为 {PΘ,θ∈Θ}\{P_{\Theta}, \theta\in\Theta\}{ PΘ?,θ∈Θ}，其中
$$P_{\theta }(X=k)=\frac{\left(\begin{array}{c}N\theta \\ k\end{array}\right)\left(\begin{array}{c}N?N\theta \\ N?k\end{array}\right)}{\left(\begin{array}{c}N\\ n\end{array}\right)}$$
$k$ 满足
$$\max ((n?N(1?\theta )),0)\le k\le \min (N\theta ,n)$$
$X$ 表示一次试验中抽取的 $n$ 件产品的次品数，Θ={θ:0<θ<1}\Theta = \{\theta:0<\theta<1\}Θ={ θ:0<θ<1} 为参数空间。

统计量及其分布

设总体分布族为 {PΘ,θ∈Θ}\{P_{\Theta}, \theta\in\Theta\}{ PΘ?,θ∈Θ}，我们仅知道总体的分布属于此分布族，但哪个最合适还需经过统计推断。推断总体的分布，实际上就是确定参数 $\theta$，为此，需抽取样本。样本来源于总体，它应当包含参数的所有相关信息，但观察值呈现为一堆杂乱无章数据，故需对数据进行加工或压缩，提取有关参数的信息，而剔除无关的信息，这在统计上就反映为构造样本的已知函数，即统计量（Statistic）。

例 2 设总体 $X$ 服从两点（正品和次品）分布，即 $P(X=1)=\theta$，$P(X=0)=1?\theta$，$0<\theta <1$。$X_1,X_2,?,X_n$ 是来自总体的样本，考虑样本的函数 $T(X_1,X_2,?,X_n)={\sum }_{i=1}^n{X}_i$，$T$ 实际上表示样本中所含的次品个数，对不同观察值可能对应相同的 $T$ 值，这样实际上是对样本起到了加工或压缩的作用。

统计量

定义 1 设 $X_1,X_2,?,X_n$ 是来自总体 $X$ 的一个样本，$T(X_1,X_2,?,X_n)$ 是样本的函数。如果 $T(X_1,X_2,?,X_n)$ 不包含任何未知参数，则称其为总体 $X$ 的统计量，简记为 $T$。

如例 2 中 $\sum_{i = 1}^n { {X_i}} $ 是统计量，因为它不含任何未知的参数。常用统计量包括：

• 样本均值（Sample Mean）：

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

• 样本方差（Sample Variance）：

$$S^2=\frac{1}{n?1}\sum _{i=1}^n{(X_i?\bar{X})}^2$$

• 样本标准差（Sample Standard Deviation）：

$$S=\sqrt{\frac{1}{n?1}\sum _{i=1}^n{(X_i?\bar{X})}^2}$$

• 样本矩（Sample Moment）:

  • $k$ 阶原点矩：

  $$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2?$$

  • $k$ 阶中心矩：

  $$B_k=\frac{1}{n}\sum _{i=1}^n{(X_i?\bar{X})}^k,k=1,2?$$

顺序统计量

把样本 $X_1,X_2,?,X_n$ 的观察值 $x_1,x_2,?,x_n$ 从小到大进行排列，记为 $x_{(1)},x_{(2)},?,x_{(n)}$，满足
$$x_{(1)}\le x_{(2)}\le ?\le x_{(n)}$$
定义排在第 $k(1\le k\le n)$ 个位置的 $x_{(k)}$ 为随机变量 $X_{(k)}$ 的观察值。显然
$$X_{(1)}\le X_{(2)}\le ?\le X_{(n)}$$
称 $X_{(1)},X_{(2)},?,X_{(n)}$ 为顺序统计量。

其中，有
X(1)=min?{X1,X2,?,Xn}{X_{(1)}} = \min \{ {X_1},{X_2}, \cdots ,{X_n}\} X(1)?=min{ X1?,X2?,?,Xn?}

X(n)=max?{X1,X2,?,Xn}{X_{(n)}} = \max \{ {X_1},{X_2}, \cdots ,{X_n}\} X(n)?=max{ X1?,X2?,?,Xn?}

对给定的 $p(0<p<1)$，定义样本 $p$ 分位数 $m_p$，

• $np$ 不是整数时，
  $$m_p={\lambda }_{([np+1])}$$

• $np$ 是整数时，
  $$m_p=\frac{1}{2}(X_{(np)}+X_{(np+1)})$$

充分统计量

统计量既然是对样本的加工或压缩，在这个过程中可能有损失有关参数的一部分信息，现在问题是在这个过程中是否存在某些统计量，既起到压缩作用，又不损失参数的信息，这样的统计量称为充分统计量。

例 3（续例 2） 设样本的观察值 $x_1,x_2,?,x_n$，则样本的联合分布函数为
$$P(X_1=x_1,X_2=x_2,?,X_n=x_n)={\theta }^s(1?\theta {)}^{n?s}$$
其中 $x_i=0$ 或 $1$，$s={\sum }_{i=1}^n{x}_i$。

定义 2 设总体分布族为 {PΘ,θ∈Θ}\{P_{\Theta}, \theta\in\Theta\}{ PΘ?,θ∈Θ}，$T(x)$ 是统计量。如果在给定 $T(X)=t$ 的条件下，$X$ 的条件分布与参数 $\theta$ 无关，则称统计量 $T(X)$ 是参数 $\theta$ 的充分统计量（Sufficient Statistics）。

一般情况下，利用条件分布证明统计量的充分性是比较困难的。但存在证明充分性的一个充分必要准则，这是下面的因子分解定理（Factorization theorem）。

定理 1 设总体分布族为 {PΘ,θ∈Θ}\{P_{\Theta}, \theta\in\Theta\}{ PΘ?,θ∈Θ}，$T(x)$ 是充分统计量，当且仅当在一个定义在 $I\times \Theta$ 上的函数 $g(t,\theta )$ 及定义在 ${\mathbb{R}}^n$ 上的函数 $h(x)$ 使得
$$p(x,\theta )=g(T(x),\theta )h(x)$$
对所有的 $x\in {\mathbb{R}}^n$ 都成立，其中 $I$ 是 $T(x)$ 的值域，$p(x,\theta )$ 是样本的联合概率密度函数或分布律。

抽样分布

特征函数

设 $X$ 为随机变量，称函数
$${?}_x(t)=E(e^{itX})$$
为 $X$ 的特征函数。

常见分布的特征函数：

• 二项分布 $B(n,p)$：

$$?(t)=(p{e}^{it}+(1?p){)}^n$$

• Poisson 分布 $P(\lambda )$：

?(t)=exp?{λ(eit?1}\phi(t) = \exp\{\lambda(e^{it - 1}\} ?(t)=exp{ λ(eit?1}

• 正态分布 $N(\mu ,{\sigma }^2)$：

?(t)=exp?{iμt?12σ2t2}\phi(t) = \exp\{i\mu t - \frac{1}{2}\sigma^2t^2\} ?(t)=exp{ iμt?21?σ2t2}

特征函数的特征：

• 有界性：对于任意 $t\in \mathbb{R}$，有 $|?(t|\le ?(0)=1$。
• 设 $Y=aX+b$，其中 $a,b$ 为常数，则

$${?}_Y(t)=e^{ibt}{?}_X(at)$$

• 若 $X$ 与 $Y$ 相互独立，则有

$${?}_{X+Y}(t)={?}_X(t){?}_Y(t)$$

• 若 $E(X^n)$ 存在，则 ${?}_X^{(n)}(t)$ 存在，且

$$E(X^k)=i^{?k}{?}^{(k)}(0),k=1,2,?,n$$

• 特征函数与分布函数相互偎依确定

三大分布

${\chi }^2$ 分布

设随机变量 $X_1,X_2,?,X_n$ 相互独立且同服从标准正态分布 $N(0,1)$，称随机变量
$${\chi }^2=X_1^2+X_2^2+?+X_n^2$$
所服从的分布为自由度是 $n$ 的 ${\chi }^2$ 分布，记为 ${\chi }^2?{\chi }^2(n)$。

定理 2 设简单样本 $X_1,X_2,?,X_n$ 来自正态总体 $N(\mu ,{\sigma }^2)$，则有
$${\chi }^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n{(X_i?\mu )}^2?{\chi }^2(n)$$

定理 3 设 $X?{\chi }^2(n)$，则

• $X$ 的特征函数为

$$?(t)=E{e}^{itX}=(1?2it{)}^{?\frac{n}{2}}$$

• $E(X)=n,D(X)=2n$

定理 4 设 $X_1?{\chi }^2(n_1)$，$X_2?{\chi }^2(n_2)$，且相互独立，则 $X_1+X_2?{\chi }^2(n_1+n_2)$。

$t$ 分布

设随机变量 $X?N(0,1)$，$Y?{\chi }^2(n)$，且 $X$ 与 $Y$ 相互独立，则称随机变量
$$T=\frac{X}{\sqrt{Y/N}}$$
所服从的分布为自由度为 $n$ 的 $t$ 分布，记为 $T?t(n)$。

$F$ 分布

设随机变量 $X?{\chi }^2(n_1)$，$Y?{\chi }^2(n_2)$，且 $X$ 与 $Y$ 相互独立，则称随机变量
$$F=\frac{X/n_1}{Y/n_2}$$
所服从的分布为自由度为 $n_1,n_2$ 的 $F$ 分布，记为 $F?F(n_1,n_2)$。

正态总体下常见统计量的分布

定理 5 设 $X_1,X_2,?,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个简单样本，$A$ 是 $p\times n$ 阶矩阵，则
KaTeX parse error: Unknown column alignment: * at position 28: …{\begin{array}{*?{20}{c}} { {Y_1}…
其中，$1=(1,1,?,1{)}^T$。

定理 6 设 $X_1,X_2,?,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个简单样本，则

• $\bar{X}?N(\mu ,\frac{{\sigma }^2}{n})$
• $\bar{X}$ 与 $S^2$ 相互独立
• $\frac{(n?1)S^2}{{\sigma }^2}?{\chi }^2(n?1)$

定理 7 设 $X_1,X_2,?,X_n$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的一个简单样本，则
$$\frac{\bar{X}?\mu }{S/\sqrt{n}}?t(n?1)$$

定理 8 设 $X_1,X_2,?,X_n$ 和 $Y_1,Y_2,?,Y_n$ 是来自正态总体 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 的两个简单样本，且两样本独立，则
$$T=\frac{(\bar{X}?\bar{Y})?({\mu }_1?{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}?t(n_1+n_2?2)$$
其中，$\bar X = \frac{1}{ { {n_1}}}\sum_{i = 1}^{ {n_1}} { {X_i}} $，$\bar Y = \frac{1}{ { {n_2}}}\sum_{i = 1}^{ {n_2}} { {Y_i}}$，
$$S_1^2=\frac{1}{n_1?1}\sum _{i=1}^{n_1}{(X_i?\bar{X})}^2$$

$$S_2^2=\frac{1}{n_2?1}\sum _{i=1}^{n_2}{(Y_i?\bar{Y})}^2$$

$$S_w^2=\frac{(n_1?1)S_1^2+(n_2?1)S_2^2}{n_1+n_2?2}$$

定理 9 设 $X_1,X_2,?,X_n$ 和 $Y_1,Y_2,?,Y_n$ 是来自正态总体 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 的两个简单样本，且两样本独立，则
$$F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}?F(n_1?1,n_2?1)$$

定理 10 设随机变量 $X_1,X_2,?,X_n$ 相互独立且同服从正态分布 $N(0,1)$，$A$ 为实对称矩阵。令 $X=(X_1,X_2,?,X_n{)}^{\prime }$，则二次型
$$Y=X^{\prime }AX?{\chi }^2(p)$$
的充分必要条件是 $A^2=A$ （幂等阵），且 $p=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)$。

分位点

定义 设随机变量 $X$ 的分布函数为 $F(x)$，对任意给定的实数 $p(0<p<1)$，若存在 $x_p$ 使得
$$P(X\le x_p)=F(x_p)=p$$
成立，则称 $x_p$ 为此概率分布的 $p$ 分位点。

常见分布分位点记号：

• 标准正态分布 $N(0,1)$：$z_p$ 表示，即 $P(X\le z_p)=p$，由对称性有 $z_{1?p}=?z_p$

• ${\chi }^2(n)$ 分布：用 ${\chi }_p^2(n)$ 表示 $p$ 分位点，即 $P({\chi }^2\le {\chi }_p^2(n))=p$

• $t(n)$ 分布：用 $t_p(n)$ 表示，即 $P(T\le t_p(n))=p$

• $F(n_1,n_2)$ 分布：用 $F_p(n_1,n_2)$ 表示，即 P{F≤Fp(n1,n2)}=pP\{ F \le {F_p}({n_1},{n_2})\} = pP{ F≤Fp?(n1?,n2?)}=p
  $$F_p(n_2,n_1)=\frac{1}{F_{1?p}(n_1,n_2)}$$

参考文献

[1] 孙海燕、周梦等，数理统计，2016。