(此博客只是为了使自己尽快理解此篇论文的思想,所以可能直接复制了别人的翻译原话,见谅)
CornerNet-Lite
是CornerNet
的两种有效变体的组合:CornerNet-Saccade
和CornerNet-Squeeze
,前者使用注意机制(attention)消除了对图像的所有像素进行处理的需要,将cornernet
单阶段检测器变为两阶段检测器,attention maps
作用类似与faster-rcnn
中的RPN
但又有所不同,将ROI
区域crop
下来进行第二阶段的精细检测,该网络与cornernet
相比达到精度提升;后者引入新的紧凑骨干架构的CornerNet-Squeeze
,主干网络实为hourglass network
、mobilenet
、squeezenet
结构的变体,在实时检测器领域达到速度和精度的双重提升。
摘要
两种变体共同解决了有效目标检测中的两个关键用例:在不牺牲精度的情况下提高效率,以及提高实时效率的准确性。CornerNet-Saccade
适用于离线处理,将CornerNet
的效率提高6.0倍,将COCO
的效率提高1.0%
。CornerNet-Squeeze
适用于实时检测,提高了流行的实时检测器YOLOv3
的效率和准确性(CornerNet-Squeeze为34ms|34.4mAP;COCO上YOLOv3
为39ms|33mAP
)。
CVer作者Amusi认为:
- CornerNet-Saccade是在追求高准确率(mAP)的同时,尽可能提高速度(FPS)。即准确率优先,对标CornerNet等算法。创新点:引入Saccade思想;
- CornerNet-Squeeze是追求高实时性(FPS)的同时,尽可能提高准确率(mAP),即速度优先,其对标于YOLOv3等算法。创新点:引入SqueezeNet优化思想。
贡献
(1)、提出了CornerNet-Saccade 及 CornerNet-Squeeze,用于提高基于关键点目标检测的效率。
(2)、COCO,提高了6倍检测效率,AP从42.2%提升至43.2%
(3)、将目标检测较好的算法YOLOv3的准确率及性能由33.0%39ms提升至34.4% 30ms。
CornerNet-Saccade
人类视觉中的 Saccades
(扫视运动)是指用于固定不同图像区域的一系列快速眼动。在目标检测算法中,我们广义地使用该术语来表示在推理期间选择性地裁剪(crop)和处理图像区域(顺序地或并行地,像素或特征)。
R-CNN
系列论文中的saccades
机制为single-type and single-object
,也就是产生proposal
的时候为单类型(前景类)单目标(每个proposal
中仅含一个物体或没有),AutoFocus
论文中的saccades
机制为multi-type and mixed
(产生多种类型的crop
区域)
CornerNet-Saccade
中的 saccades
是single type and multi-object
,也就是通过attention map
找到合适大小的前景区域,然后crop出来作为下一阶段的精检图片。CornerNet-Saccade
检测图像中可能的目标位置周围的小区域内的目标。它使用缩小后的完整图像来预测注意力图和粗边界框;两者都提出可能的对象位置,然后,CornerNet-Saccade
通过检查以高分辨率为中心的区域来检测目标。它还可以通过控制每个图像处理的较大目标位置数来提高效率。具体流程如下图figure2所示,主要分为两个阶段估计目标位置和检测目标:
CornerNet-Squeeze
与专注于subset of the pixels
以减少处理量的CornerNet-Saccade
相比,而CornerNet-Squeeze
探索了一种减少每像素处理量的替代方法。在CornerNet
中,大部分计算资源都花在了Hourglass-104
上。Hourglass-104
由残差块构成,其由两个3×3
卷积层和跳连接(skip connection)组成。尽管Hourglass-104
实现了很强的性能,但在参数数量和推理时间方面却很耗时。为了降低Hourglass-104
的复杂性,本文将来自SqueezeNet
和MobileNets
的想法融入到轻量级hourglass
架构中。
主要操作是:受SqueezeNet
启发,CornerNet-Squeeze
将 residual block 替换为SqueezeNet
中的 Fire module
,受MobileNet
启发,CornerNet-Squeeze
将第二层的3x3
标准卷积替换为3x3
深度可分离卷积(depth-wise separable convolution)
参考博客
[1] CornerNet-Lite算法笔记
[2] 论文阅读笔记五十二
[3] 吊打YOLOv3!普林斯顿大学提出CornerNet-Lite,已开源
CVPR-2019 Github-源码链接