评价指标（metrics）

评价指标（metrics）

参考文档

机器学习中的PR曲线和ROC曲线

分类指标准确率(Precision)和正确率(Accuracy)的区别

机器学习中auc与aupr 指的是什么？

有公式图，简洁、全，auc、aupr

如何理解机器学习和统计中的AUC？

如何画ROC曲线和FROC曲线

precision(查准率P)、recall（查全率R）、sensitive（灵敏度、敏感性、真阳率）、specificity（特效度、特异性、真阴率）

P = TP / (TP + FP)

R = TP / (TP + FN)

sensitive = TP/P （P = FN + TP）

specificity = TN/N （N = TN + FP）

假阳率（FPRate） = 1 - specificity

分类指标准确率(Precision)和正确率(Accuracy)的区别

• P: 预测成正例的所有样本中，预测正确的概率（比如预测到有100个癌症病人，计算其中真正患有癌症的病人）。表示所有被预测为正例的样本（TP+FP）中实际正例所占的比例

  ? 适合对准确率要求高的应用，例如商品推荐，网页检索等。

• R： 在所有阳性样本中，预测成功的概率（比如当前有100个癌症病人，计算预测准确的概率）。就是覆盖面的度量，度量有多少个正例被分为正例

  ? 查全率可以认为是追求”宁错杀一百，不放过1个”，适合类似于检查走私、逃犯信息等。

• sensitive：表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力；也就是recall

• specificity：表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力；假阳率=1-specificity

可以推广到多分类中，即判断某个类别的各项性能

ROC、AUC

ROC是受试者工作特征曲线 receiver operating characteristic curve ) 的简写，又称为感受性曲线(sensitivity curve)。

(真阳率，假阳率)

AUC是ROC曲线下面积(Area Under roc Curve)的简称，AUC的值就是处于ROC curve下方的那部分面积的大小。

如何理解机器学习和统计中的AUC？

ROC横坐标：真阳率，即所有正样本中，预测为正例的比例，衡量对正例这一类别的识别能力，从预测对的角度表示

ROC纵坐标：假阳率，即所有负样本中，预测为正例的比例，衡量对负例这一类别的识别能力，从预测错的角度表示

训练目的：对于阳性样本都预测为阳性，对于阴性样本都预测为阴性。那么，这就要求真阳率的值越大越好，假阳率的值越小越好

ROC性能好的表现：对于真实类别为1的样本，分类器预测为1的概率（即TPRate），要大于真实类别为0而预测类别为1的概率（即FPRate），即y＞x

画图：（1-specificity，sensitivity）

如何画ROC曲线和FROC曲线

解析：该数据集有9个数据，其中0、2、3、5、8为正样本，其余为负样本，即5正4负，然后通过预测模型得到的预测概率为0.9、0.8等等，再依据不同阈值计算真阳率和假阴率，得到（1-specificity，sensitivity），图中每个点都是依据一个阈值得到的一个坐标点，阈值越多，ROC就越平滑。

AUC就是用来计算ROC下方的面积而体现分类器的性能好坏。

使用sklearn计算

详解scikit-learn计算ROC/AUC曲线

查准率-查全率曲线（P-R图）、AUPR

横坐标是查全率recall，纵坐标是查准率precision

（查全率，查准率）

pr曲线容易受到样本分布（训练样本中的正负样本比值）影响

衡量对非平衡数据集的预测

机器学习中的PR曲线和ROC曲线

PR曲线和ROC曲线理解（看这个）

PR曲线和ROC曲线理解2—进阶理解

F1-score

综合衡量P和R

机器学习中的PR曲线和ROC曲线

其他评价指标

• 计算速度：分类器训练和预测需要的时间；
• 鲁棒性：处理缺失值和异常值的能力；
• 可扩展性：处理大数据集的能力；
• 可解释性：分类器的预测标准的可理解性，像决策树产生的规则就是很容易理解的，而神经网络的一堆参数就不好理解，我们只好把它看成一个黑盒子。