其实我们训练部分是我们自己提出各种改进的算法，得到一个我们自己的结果，但是验证部分基本都是差不多的，或者一律使用官方的验证方法，为了正确评估我们模型的结果，我们还是得弄清楚验证部分的代码需要我们提供的是什么，它又计算出了什么，请时刻记住，这是我们的终极目标。
这里就整理一下Pascal VOC这个数据集中mAP的计算，最后也会总结一下，到底怎样使用这份代码。Pascal VOC是早期目标检测（e.g. Fast/er RCNN, SSD）常用的标准数据集。
1、什么是mAP？
既然要看懂计算mAP的代码，那肯定得先知道什么是mAP?不能违背人的认知规律，当然已经在目标检测这方向已经比较熟的大佬就可以跳过这部分。
这方面有很多人都写过了，我建议可以看一下这一篇博客：
深度学习笔记（八）：目标检测性能评价指标（mAP、IOU…）
这里也给出自己看完这些博客还得注意的地方，算是给像我这样的小白一些解惑：
1、上图来自维基百科中对于precision和recall的形象解释，precision按字面理解，准确率就是你预测出来为正类当中确实有多少正类的比例（这里一开始我也有个疑问，为什么我们预测出来的都算是正类？其实仔细想一下也不难理解，就像目标检测，我们选出来的框自然是我们认为是前景目标的，我们怎么会去框一个背景呢，注意这里是我们认为我们框的，实际完全有可能框到背景）；recall按字面理解，召回率就是实际有这么多正类，你选出来了多少的一个比率，不理解的可以多看几遍上面的图帮助理解，这会影响到下面PR曲线绘制的理解。
2、一条P-R曲线对应一个阈值，那这个阈值又是什么意思呢？例如VOC里面，这个阈值就代表和Ground Truth bbox的IoU大于这个阈值才会被认为是正类【如下面代码中的ovthresh】，但还得通过一定的准则才能归入TP(true positive)，到这里我还会有两个问题：1.PR曲线到底是怎么画出来的？2.为什么R增大P会有减小的趋势？，下面结合代码部分我还会详细讲解，并且给出我实践中画出来的PR曲线。
3、通常人们都会说：P-R曲线围起来的面积就是AP值，但是我想说的是，理解的时候可以这样直观认识一下，具体计算的时候还是看代码的实现方式，当然实际计算都不能非常准确到刚好是P-R曲线下的面积。
2、如何画PR曲线和计算AP？
那我们如何来画PR曲线和计算AP？PR曲线无非就是很多个(recall, precision)对连接起来的，一开始我还不知道这些点对是哪里来的？其实这就回到我们最原初的那个问题了，我们的输入是什么？我们的输入是我们遍历完所有测试图片对某一类（例如’car’）给出的预测值（包括图片索引，框的置信度分数和四个坐标，这个预测值一般都是经过NMS处理之后的，保证每张图片里面不会有过多的框，因为分析代码过后，过多的框是会降低AP的），例如下面这张图就是我跑CenterNet在Pascal VOC数据集上产生的20个类的结果：
每一个文件里面都是长这样的：
下面具体分析
上面的这些结果文件就是对应【下面代码的104行的detfile = detpath.format(classname)】，因为我们当作他们都是positive，所以这里的每一个预测出来的框都会分配一个TP或者FP（或者根据官方规则，对于difficult=1的object是不参与AP计算的），所以上面一个文件中有这么多行，就会有这么长的TP和FP列表，每输入一个预测框就又可以计算一个(recall, precision)对，那么就可以画出非常细密的点，当然随着输入框的增多，recall肯定是上升的，因为实际的positive数量是固定的，随着输入框的增多，肯定是覆盖到这些真值的，根据recall的定义就会接近1；而此时在还没有正确预测中下一个时，也就是上面维基图中TP不变的情况下，增加了红半球FP的数量，那precision肯定会下降，只有预测中下一个真值的时候会突增一下，所以说，P-R曲线并不是递减的。下面就是我实践过程画出来的P-R曲线，仔细看会有局部的上升趋势（这里感觉理解起来不够形象的，最后还有一个我理解过程中参考别人博客的一个例子）：
下面来看具体代码
至此，我们已经完成了所有预备的知识，需要来分析一下代码是怎么实现的？我在代码必要部分标上了中文注释：
下面这个就是计算Pascal VOC中mAP的python版本的代码，摘自于Ross Girshick大神的Faster RCNN中的代码，后来非常多人都用到这份代码，比如：
- facebook research的Detectron框架
- amdegroot用PyTorch复现的ssd.pytorch
- CenterNet(Objects as Points)官方代码中的VOC部分
def voc_ap(rec, prec, use_07_metric=False):""" ap = voc_ap(rec, prec, [use_07_metric])Compute VOC AP given precision and recall.If use_07_metric is true, uses theVOC 07 11 point method (default:False)."""if use_07_metric: #VOC在2010之后换了评价方法，所以决定是否用07年的# 11 point metricap = 0.for t in np.arange(0., 1.1, 0.1): # 07年的采用11个点平分recall来计算if np.sum(rec >= t) == 0:p = 0else:p = np.max(prec[rec >= t]) # 取一个recall阈值之后最大的precisionap = ap + p / 11. # 将11个precision加和平均else: # 这里是用2010年后的方法，取所有不同的recall对应的点处的精度值做平均，不再是固定的11个点# correct AP calculation# first append sentinel values at the endmrec = np.concatenate(([0.], rec, [1.])) #recall和precision前后分别加了一个值，因为recall最后是1，所以mpre = np.concatenate(([0.], prec, [0.])) # 右边加了1，precision加的是0# compute the precision envelopefor i in range(mpre.size - 1, 0, -1):mpre[i - 1] = np.maximum(mpre[i - 1], mpre[i]) #从后往前，排除之前局部增加的precison情况# to calculate area under PR curve, look for points# where X axis (recall) changes valuei = np.where(mrec[1:] != mrec[:-1])[0] # 这里巧妙的错位，返回刚好TP的位置，# 可以看后面辅助的例子# and sum (\Delta recall) * prec 用recall的间隔对精度作加权平均ap = np.sum((mrec[i + 1] - mrec[i]) * mpre[i + 1])return ap
# 计算每个类别对应的AP，mAP是所有类别AP的平均值
def voc_eval(detpath,annopath,imagesetfile,classname,cachedir,ovthresh=0.5,use_07_metric=False):"""rec, prec, ap = voc_eval(detpath,annopath,imagesetfile,classname,[ovthresh],[use_07_metric])Top level function that does the PASCAL VOC evaluation.detpath: Path to detectionsdetpath.format(classname) should produce the detection results file.annopath: Path to annotationsannopath.format(imagename) should be the xml annotations file.imagesetfile: Text file containing the list of images, one image per line.classname: Category name (duh)cachedir: Directory for caching the annotations[ovthresh]: Overlap threshold (default = 0.5)[use_07_metric]: Whether to use VOC07's 11 point AP computation(default False)"""# assumes detections are in detpath.format(classname)# assumes annotations are in annopath.format(imagename)# assumes imagesetfile is a text file with each line an image name# cachedir caches the annotations in a pickle file# first load gtif not os.path.isdir(cachedir):os.mkdir(cachedir)cachefile = os.path.join(cachedir, 'annots.pkl')# read list of imageswith open(imagesetfile, 'r') as f:lines = f.readlines()imagenames = [x.strip() for x in lines]if not os.path.isfile(cachefile):# load annots # 这里提取的是所有测试图片中的所有object gt信息, 07年的test真实标注是可获得的，12年就没有了recs = {}for i, imagename in enumerate(imagenames):recs[imagename] = parse_rec(annopath.format(imagename))if i % 100 == 0:print 'Reading annotation for {:d}/{:d}'.format(i + 1, len(imagenames))# saveprint 'Saving cached annotations to {:s}'.format(cachefile)with open(cachefile, 'w') as f:cPickle.dump(recs, f)else:# loadwith open(cachefile, 'r') as f:recs = cPickle.load(f)# extract gt objects for this class 从上面的recs提取我们要判断的那类标注信息class_recs = {}npos = 0for imagename in imagenames:R = [obj for obj in recs[imagename] if obj['name'] == classname]bbox = np.array([x['bbox'] for x in R])difficult = np.array([x['difficult'] for x in R]).astype(np.bool)det = [False] * len(R) # 该图片中该类别对应的所有bbox的是否已被匹配的标志位npos = npos + sum(~difficult) #累计所有图片中的该类别目标的总数，不算diffcult# 这里计算还是很巧妙的，npos=TP+FNclass_recs[imagename] = {'bbox': bbox,'difficult': difficult,'det': det}# read detsdetfile = detpath.format(classname)# 读取相应类别的检测结果文件，每一行对应一个检测目标with open(detfile, 'r') as f:lines = f.readlines()splitlines = [x.strip().split(' ') for x in lines]image_ids = [x[0] for x in splitlines]confidence = np.array([float(x[1]) for x in splitlines])BB = np.array([[float(z) for z in x[2:]] for x in splitlines])# sort by confidence 按置信度由大到小排序sorted_ind = np.argsort(-confidence)sorted_scores = np.sort(-confidence)BB = BB[sorted_ind, :]image_ids = [image_ids[x] for x in sorted_ind]# go down dets and mark TPs and FPsnd = len(image_ids) # 检测结果文件的行数tp = np.zeros(nd) # 用于标记每个检测结果是tp还是fpfp = np.zeros(nd)for d in range(nd):# 取出该条检测结果所属图片中的所有ground truthR = class_recs[image_ids[d]]bb = BB[d, :].astype(float)ovmax = -np.infBBGT = R['bbox'].astype(float)if BBGT.size > 0:# compute overlaps 计算与该图片中所有ground truth的最大重叠度# intersectionixmin = np.maximum(BBGT[:, 0], bb[0])iymin = np.maximum(BBGT[:, 1], bb[1])ixmax = np.minimum(BBGT[:, 2], bb[2])iymax = np.minimum(BBGT[:, 3], bb[3])iw = np.maximum(ixmax - ixmin + 1., 0.)ih = np.maximum(iymax - iymin + 1., 0.)inters = iw * ih# unionuni = ((bb[2] - bb[0] + 1.) * (bb[3] - bb[1] + 1.) +(BBGT[:, 2] - BBGT[:, 0] + 1.) *(BBGT[:, 3] - BBGT[:, 1] + 1.) - inters)overlaps = inters / uniovmax = np.max(overlaps)jmax = np.argmax(overlaps)# 这里就是具体的分配TP和FP的规则了if ovmax > ovthresh: # 如果最大的重叠度大于一定的阈值if not R['difficult'][jmax]: # 如果最大重叠度对应的ground truth为difficult就忽略，# 因为上面npos就没算if not R['det'][jmax]: # 如果对应的最大重叠度的ground truth以前没被匹配过则匹配成功，即tptp[d] = 1.R['det'][jmax] = 1else: # 若之前有置信度更高的检测结果匹配过这个ground truth，则此次检测结果为fpfp[d] = 1.else:# 该图片中没有对应类别的目标ground truth或者与所有ground truth重叠度都小于阈值fp[d] = 1.# compute precision recallfp = np.cumsum(fp) # 累加函数np.cumsum([1, 2, 3, 4]) -> [1, 3, 6, 10]tp = np.cumsum(tp)rec = tp / float(npos)# avoid divide by zero in case the first detection matches a difficult# ground truthprec = tp / np.maximum(tp + fp, np.finfo(np.float64).eps)ap = voc_ap(rec, prec, use_07_metric)return rec, prec, ap
辅助理解的例子
下面的例子来自有另一篇博客：COCO目标检测测评指标，里面的数据是这样的：这幅图里面计算AP的方法是2010年之后的那种，在这个例子中，一共有20个测试，但是只有6个正的测试样本，所以这里就分成了6个间隔，而不是11，如果我们把每一种颜色(其实这颜色块就是根据recall不同的值分的)看成是一个阶段，2010年之后的方法取的precison是后面阶段和本阶段中最大的（对应表格里面的那句话【Max Precision for Any Recall r’ >= r】，注意是大于等于不是大于）
下面是我理解2010年之后的评价方法时做的图示，看一下就会很快理解，也能发现代码中错位的巧妙，数据来自上面那幅图：
总结
所以我们回到开头的终极目标，当我们明白代码之后，就只要学会调用就好了，那对于Pascal VOC这个数据集来说：
- 我们需要提供的：那20个预测结果文件，如第2大点的那幅图里面的看到的，和annotation文件；
- 计算出来的是：当然是mAP啦！