数学知识——概率统计（7）：极限思维：大数定理与中心极限定理

1. 大数定律

当样本足够大时，样本均值收敛到总体均值（期望）

大数定律说明了这样一个事实，那就是当抽到的样本很大时，所有的样本的均值和样本所属总体的期望的均值是以很大概率接近的，这个定理之所以强大是因为无论样本之间是相互独立的还是有什么关联，无论是不是从同一个总体中抽取的都没有关系，只要n趋于无穷大那么样本均值一定以很大的概率接近于其期望的均值。

2. 中心极限定律

当样本足够大时，样本均值的分布趋近于正态分布。

更为重要的一点是，这个定理对随机变量 X 的原始分布没有任何要求，非常具有一般性。

3. 两个重要的不等式

• 马尔科夫不等式
  对于一个非负的随机变量 X，如果它的均值很小的话，那么这个随机变量取到一个大值的概率是非常小的。

  

• 切比雪夫不等式
  如果一个随机变量的方差非常小的话，那么这个随机变量取到远离均值 μ 的概率也是非常小的。
  

4. 大数定理的应用：蒙特卡罗方法

1. 近似计算不规则面积/体积/积分
2. 模拟随机过程，预测随机过程可能性结果的区间范围
3. 利用马尔科夫链—蒙特卡罗方法（MCMC）进行未知参数的统计推断

注：蒙特卡罗算法是什么？ - 孙天齐的回答 - 知乎

参考

1. 极限思维：大数定理与中心极限定理

2. 概率论总结