方差、偏差（variance、bias)

概念

方差的概念，是无监督的，描述的是一堆数据的聚集的程度。聚集的厉害方差就很小。

偏差的概念，是有监督，偏差是指和目标的距离。 偏差大，就是离目标大。

举例

想象你开着一架黑鹰直升机，得到命令攻击地面上一只敌军部队，于是你连打数十梭子，结果有一下几种情况:
1.子弹基本上都打在队伍经过的一棵树上了，连在那棵树旁边等兔子的人都毫发无损，这就是方差小（子弹打得很集中），偏差大（跟目的相距甚远）。
2.子弹打在了树上，石头上，树旁边等兔子的人身上，花花草草也都中弹，但是敌军安然无恙，这就是方差大（子弹到处都是），偏差大（同1）。
3.子弹打死了一部分敌军，但是也打偏了些打到花花草草了，这就是方差大（子弹不集中），偏差小（已经在目标周围了）。
4.子弹一颗没浪费，每一颗都打死一个敌军，跟抗战剧里的八路军一样，这就是方差小（子弹全部都集中在一个位置），偏差小（子弹集中的位置正是它应该射向的位置）。方差，是形容数据分散程度的，算是“无监督的”，客观的指标，偏差，形容数据跟我们期望的中心差得有多远，算是“有监督的”，有人的知识参与的指标。

图示

这幅图简直完美解释了各种情况，需要仔细理解。

目标是中心点，代表目标，看第一行，就是目标准。
第二行则离目标很远，就是偏差大。

第一列聚集，方差小；
第二列散乱，方差大。variance大。

数学表达

$\text{Bias}(X) = E[\hat f(X)] - f(X)$
$\text{Var}(X) = E\Bigl[\bigl(\hat f(X) - E[\hat f(X)]\bigr)^{2}\Bigr]$

参考文献

https://liam.page/2017/03/25/bias-variance-tradeoff/
https://www.zhihu.com/question/20448464/answer/24397161