伯努利分布、二项分布和多项分布

1 伯努利分布 （Bernouli Distribution）

伯努利分布（Bernoulli distribution）又名 两点分布 或 0-1分布，在讲伯努利分布前首先需要介绍伯努利试验（Bernoulli Trial）。

1.1 伯努利试验

伯努利试验是只有两种可能结果的单词随机试验，即对于一个随机变量 $X$：
$$\begin{array}{rl}P[X=1]& =p\\ P[X=0]& =1?p\end{array}$$

因为只有两种可能结果，伯努利试验都可以表示为“是”或“否”的问题，比如：“抛一次硬币，它是正面朝上吗？”

如果试验 $E$ 是一个伯努利试验，将 $E$ 独立重复地进行 $n$ 次，则将这一系列重复的独立试验称为是 $n$ 重伯努利试验。

1.2 伯努利分布

进行一次伯努利试验，$X=1$ 概率为 $p(0\le p\le 1)$，$X=0$ 概率为 $1?p$，则称随机变量 $X$ 服从伯努利分布。伯努利分布是离散型概率分布，其概率函数为：

$$f(x)=p^x(1?p{)}^{1?x}\{\begin{array}{ll}p& x=1\\ 1?p& x=0\end{array}$$

数学期望

$$E(x)=\sum _{i=0}^1{x}_{i}f(x_i)=1?p+0?(1?p)=p$$

方差

对伯努利分布，显然有 $x^2=x$，即 $E(x^2)=E(x)$，因此：

$$Var(x)=E(x^2)?(E(x){)}^2=p?p^2=p(1?p)$$

2 二项分布 （Binomial Distribution）

二项分布是 $n$重伯努利试验 成功次数的离散概率分布。

如果试验 $E$ 是一个 $n$重伯努利试验，每次伯努利试验的成功概率为$p(0\le p\le 1)$，$X$ 代表成功的次数，则 $X$ 的概率分布是二项分布，记为 $X?B(n,p)$，其概率函数为：

$$P(X=k)=C_n^k{p}^k(1?p{)}^{n?k},k=0,1,2,?,n$$

• 从定义可以看出，伯努利分布是二项分布在 $n=1$ 时的特例；
• 二项分布名称的由来，是由于其概率函数中使用了二项系数 $C_n^k$，该系数是二项式定理中的系数，二项式定理是由牛顿提出的：$(x+y{)}^n=C_n^k{x}^k{y}^{n?k}$

3 多项分布 （Multinomial Distribution）

多项式分布是二项式分布的推广。二项式做 $n$ 次伯努利实验，规定了每次试验只有两种可能的结果，如果现在还是做 $n$ 次试验，只不过每次试验的结果可以有 $m$ 个，这 $m$ 个结果发生的概率互斥且和为1，则发生其中一个结果 $X$ 次的概率就是 多项式分布。扔骰子是典型的多项式分布。

多项式分布一般的概率函数为：

$$P(X_1=k_1,X_2=k_2,?,X_n=k_n)=\frac{n!}{k_1!k_2!?k_n!}\prod _{i=1}^n{p}_i^{k_i},\sum _{i=1}^n{k}_i=n$$