Bottleneck Transformers for Visual Recognition
摘要
BoTNet是backbone，由自注意力机制组成
在Resnet最后三个bottleneck中用全局self-attention替代卷积
在COCO数据集上44.4%mask AP，49.7%Box AP，图像分类、实例分割、目标检测都有效
引言
提出的BoTNet为带有bottleneck结构的transformer块
在视觉领域使用self-attention有两个问题：1，图片太大 怎么输进去；2，存储与计算太大，训练负担大
想到的方法：
- 使用卷积提取低分辨率特征图；
- 在特征图上用self-attention
只在Resnet最后三个bottleneck中用全局self-attention替代卷积
结论
表达了未来展望，如在大的数据集上使用
相关工作
本章将BoTNet对比了transformer、DETR、Non-Local
-
transformer
transformer采用layer noramlizaiton，BoT块采用Batch Normalization
transformer在FFN中用了一个非线性，BoT用了3个
transfomer中MHSA块对输出做了投影，BoT没有
-
DETR
DETR在backbone外用了transformer，
BoTNet在小物体检测上效果较好
-
Non-Local
Non-Local将NL块插入到Resnet最后两个块组，BoT融合了self-attention和卷积
方法
将Resnet最后3个3X3卷积替代成MHSA
用2D相关位置编码
实验
原文做了相当多实验
例：在COCO数据集采用mask RCNN实现实例分割
