概率论中的期望、方差、正态分布

前言

突然很想知道正态分布，就搜集了一些资料，多了解一些内容。

期望

知乎-数学期望问题回答
期望、方差
我就总结一下，不重复造轮子了，期望就是多次试验后得到可以达到的平均结果，关于这个多次的范围是多少，无法确定，可以理解为N次试验，期望跟概率及概率的值有关，例如经典的抛硬币问题，正面你给我一元，负面我给你一元，数值化的结果就是：

从我的角度思考这个问题：$E=0.5?1+0.5?(?1)=0$
从你的角度思考这个问题：$E=0.5?(?1)+0.5?1=0$
那么N次试验后，期望是0，也就是我和你口袋里的金额都是一样的，虽然过程中有输有赢，但是最终结果是大家都没有输没有赢，概率对你我都是公平的，但是如果我们一共只玩5次游戏，有可能5次硬币都是负面，我亏5元，你赢了5元，这不是我想要的期望，所以期望跟具体的实验结果是没有关联的，它反应的是这个实验结果在理想的情况下多呈现的结果，理想情况就是符合概率，10次抛硬币里面有5次正面出现、5次负面出现，我们用这个期望值做什么呢？当事件还没开始，我们就可以通过期望来反应这个事件的平均情况，但实际中不会完全符合理想情况，不符合期望结果，也就是说10次抛硬币里面有可能有9次正面，1次负面，也有可能1次正面，9次负面，没人知道实际的结果，所以，实际情况都是不确定的，但期望可以反映多次之后的平均情况。
上述是离散型的概率的期望，还有连续性概率的期望，计算就偏繁琐一些，但本质都是一样的，
$$E(f(x))={\int }_{?\infty }^{+\infty }f(x)p(x)dx$$
其中$p(x)$是概率密度，$f(x)$是指不同概率对应的数值，这个数值可以自己定义，具体的可以去百度多了解一下。
期望有相应的运算操作，这些运算操作方便你计算多个事件联合起来的期望，比如$E(xy)=E(x)E(y)$

方差

方差与标准差
期望的运算构成了统计量的运算基础，因为方差、协方差等统计量本质上是一种特殊的期望。
$$\begin{array}{rl}Var(x)& =E((x?E(x){)}^2)\\ & =E(x^2?2xE(x)+(E(x{)}^2))\\ & =E(x^2)?2E(x)E(x)+E(x)E(x)\\ & =E(x^2)?(E(x){)}^2\end{array}$$
推导过程中要备注一下$E(E(x))$，我们可以把$E(x)$看做一个数值，概率的期望本来就是一个数值，这个数值的期望就相当于$E(1)=1$，所以 $E(E(x))=E(x)$，$E(E(x^2))=E(x^2)$，$E(2xE(x))=2E(x)E(x)$。
但是提一个问题：由如果X与Y相互独立，则$E(XY)=E(X)E(Y)$知道，$E(x^2)=E(x?x)=E(x)E(x)=(E(x){)}^2$ 是否成立？因为按照期望运算这个是成立的，如果这个成立，那么上述方差就等于0了，换个角度思考，正确的解释就是$x$与$x$不是相互独立的，两个$x$是相等关系的，一个$x$的值决定了另一个$x$。
方差是测算离散趋势最重要、最常用的指标，一个取值与期望值的“距离”用两者差的平方表示。该平方值表示取值与分布中心的偏差程度。平方的最小取值为0。当取值与期望值相同时，此时不离散，平方为0，即“距离”最小；当随机变量偏离期望值时，平方增大。由于取值是随机的，不同取值的概率不同，我们根据概率对该平方进行加权平均，也就获得整体的离散程度——方差。它可以表示每个变量与期望之间的离散程度。标准差同样是测算离散趋势最重要、最常用的指标，标准差为方差的算术平方根，用S表示：
$$\delta =\sqrt{Var(x)}$$
在方差的运算操作中，方差是不满足线性性质的，两个变量的线性组合方差计算方法如下：
$$Var(ax+by)=a^{2}Var(x)+b^{2}Var(y)+2Cov(x,y)$$
其中$Cov(x,y)$ 表示变量x、y的协方差，如果变量x、y相互独立，那么这两个变量的协方差等于0，也就说明两个相互独立的线性组合方差如下：
$$Var(ax+by)=a^{2}Var(x)+b^{2}Var(y)$$

协方差

两个随机变量的协方差被定义为：
$$Cov(x,y)=E((x?E(x))(y?E(y)))$$
因此方差是一种特殊的协方差。当x=y时，$Cov(x,y)=Var(x)=Var(y)$。

正态分布

这篇文章非常好的讲解了正态分布所面临的问题，其中有实例的讲解了正态分布应用、变量各种变换后的正态分布情况，
【程序员眼中的统计学（7）】正态分布的运用：正态之美

机器学习中正态分布非常贴近生活，就像人的身高，我们讨论男生的身高，大多数人身高集中在165-180之间，180以上的占总体人数的比例太小，165以下的比例也很小，正好符合正态分布曲线的形状：中间高，两边低。所以很多时候拿正态分布来说明数据的分布情况，这样可以帮助我们了解数据的走向，上述链接中举了一个学生成绩的例子，利用分布来预测排名，大家可以看下。

参考博客

概率论中均值、方差、标准差介绍及C++/OpenCV/Eigen的三种实现