论文阅读12 | Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification

论文：Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification（动态的双注意力机制聚合学习）

出处：ECCV2020

创新点

• 提出了一种新的动态双注意聚合学习方法来挖掘模态内part级别和跨模态graph级别的信息，以增强可见光-红外行人重识别的特征表示学习。
• 设计了一个模态内的加权part注意模块，来学习part聚合特征，并且自适应地分配身体不同part的权重。
• 引入了一种跨模式图结构注意方案，通过挖掘跨两种模式的行人图像之间的关系，来增强特征表示。

1. 摘要

由于大量带有样本噪声的模态内差异和跨模态之间的差异，去学习具有判别性的part特征是比较困难的。现有的VI-ReID方法大多学习全局特征表示，限制了判别性，减弱了对噪声图像的鲁棒性。本文我们提出了一个新颖的两分支的动态双重注意力聚合学习方法（DDAG），可以挖掘模态内部part级别和模态之间graph级别的信息。

首先，提出了一个模态内部的加权part注意力模块（intra-modality weighted-part attention），提取具有判别性的part聚合特征；再次，为了加强对噪声样本的鲁棒性，引入了跨模态的图结构注意力模块（cross-modality graph structured attention）；最后，设计了一个参数自由的动态双重聚集学习策略，通过一个渐进的联合训练方法，自适应地聚合这两个组件。

2. 引言

DDAG包含两个主要的组件：IWPA和CGSA。主要想法就是在模态内部的part级别和跨模态的graph级别上，去增强特征表示学习。

CGSA通过结合两种模式的行人图像之间的关系，来学习一个增强的节点特征表示。我们利用跨模态图中的上下文信息，用多头注意图方案为模态内和跨模态的邻居分配自适应权值，消除了具有较大变化的样本的负面影响，还减少了模态的差异，并平滑了训练过程。

此外，我们还引入了一种动态双聚合学习策略，以多任务端到端学习的方式动态聚合这两个注意模块，使复杂的双注意网络能够稳定地收敛。

详见下图。

3. 方法

3.1 总体框架

DDAG基于一个双流的网络结构，IWPA用于part聚合特征学习，CGSA用于共享的全局特征学习。

3.2 Baseline

首先，本文提出了两分支的baseline网络，用来合并两个不同的模态。为了处理两个模态不同的特性，每个分支中的第一个卷积块参数是不同的，去获得具体模态的低级特征；每个分支中的深层卷积块参数对于两个模态是共享的，去学习分享模态的中层特征表示。在带有自适应池化的卷积层之后，使用一个共享的BN层去学习共享特征。使用身份损失Lid和在线难挖掘三元组损失Ltri，作为学习目标。

3.3 IWPA

一阶段： IWPA的输入是网络前面的最后一个卷积块的输出特征图，然后将特征图直接分成p个不重叠的part特征，把每个part都喂入三个1x1的卷积层v,u,z中，将前两个卷积层的输出做内积经过softmax激活函数之后，再与第三个卷积层的输出做一下内积，得到注意力增强的part特征。因此，因此，新得到的part特征考虑了身体不同部位之间的关系。

二阶段： 将原始输入xo经过全局平均池化后，经过一个 residual BatchNorm（借助resnet的跳跃连接的思想，就是将原始输入经过GAP和BN后，与新得到的part特征加在一起输出）。我们使用一个可学习的part特征的注意力增强的加权组合，来表示一个有区别的部分聚合特征表示。

用自己的话： 首先，使用自适应的平均池化函数，把特征图池化为宽和高为（p，1），切成p个特征向量，经过三个线性变换得到三个特征图，让第二个特征图最后两个维度互换一下，所以就可以和第一个特征图做内积，得到pxp的attention图，对每一行做softmax归一化，和第三个特征图内积。之后，和一个经过softmax归一化的包含p参数的向量，做一下加权求和。将没有切片之前的特征图，经过全局平均池化和一维BN层得到特征向量，将得到的两个特征向量相加，最后经过一个一维BN层输出最终结果。

3.4 CGSA：

① 先验知识：

图结构是由顶点的集合和边的集合组成的。无向图：顶点之间的边没有方向；有向图：顶点之间的边有方向。有权图：边上带有权重；无权图：边上不带权重。图结构如下所示，在计算机中，通常使用邻接矩阵 、邻接表两种方式来表达图结构。邻接矩阵：相连接的节点之间为1，不相连的节点之间为0。

4. 实验结果

在自己服务器上跑出的结果：

All Average: FC: Rank-1: 55.07% | Rank-5: 80.88% | Rank-10:88.77%| Rank-20: 94.68%| mAP: 52.87%| mINP: 38.82%
FC_att: Rank-1: 54.86% | Rank-5: 80.83% | Rank-10: 88.70%| Rank-20: 94.67%| mAP: 52.74%| mINP: 38.72%

SYSU-MM01数据集

### All Search、Single shot
All Average:
FC:     Rank-1: 52.82% | Rank-5: 81.10% | Rank-10: 89.55%| Rank-20: 95.20%| mAP: 50.27%| mINP: 35.25%
FC_att: Rank-1: 52.62% | Rank-5: 80.89% | Rank-10: 89.33%| Rank-20: 95.10%| mAP: 50.10%| mINP: 35.15%### Indoor Search、Single shot
All Average:
FC:     Rank-1: 57.81% | Rank-5: 84.78% | Rank-10: 92.75%| Rank-20: 97.81%| mAP: 64.66%| mINP: 59.97%
FC_att: Rank-1: 57.62% | Rank-5: 84.45% | Rank-10: 92.46%| Rank-20: 97.76%| mAP: 64.39%| mINP: 59.65%

RegDB数据集

# Visible->IR
FC:     Rank-1: 63.11% | Rank-5: 75.10% | Rank-10: 81.31%| Rank-20: 87.33%| mAP: 58.54%| mINP: 45.57%
FC_att: Rank-1: 65.58% | Rank-5: 76.75% | Rank-10: 82.77%| Rank-20: 88.35%| mAP: 60.16%| mINP: 46.99%# IR->Visible
FC:     Rank-1: 21.55% | Rank-5: 30.73% | Rank-10: 35.10%| Rank-20: 40.92%| mAP: 18.55%| mINP: 10.04%
FC_att: Rank-1: 22.72% | Rank-5: 31.75% | Rank-10: 35.34%| Rank-20: 41.89%| mAP: 19.56%| mINP: 10.78%# Visible->Visible
FC:     Rank-1: 98.01% | Rank-5: 98.88% | Rank-10: 99.22%| Rank-20: 99.66%| mAP: 91.67%| mINP: 80.26%
FC_att: Rank-1: 98.35% | Rank-5: 99.22% | Rank-10: 99.42%| Rank-20: 99.76%| mAP: 92.40%| mINP: 81.82%# IR->IR
FC:     Rank-1: 61.50% | Rank-5: 75.92% | Rank-10: 83.06%| Rank-20: 89.47%| mAP: 57.96%| mINP: 44.61%
FC_att: Rank-1: 63.35% | Rank-5: 78.40% | Rank-10: 84.13%| Rank-20: 90.68%| mAP: 60.03%| mINP: 46.55%

实验结果（只有baseline，去掉IWAP和GSDA）：

SYSU-MM01：
# all
All Average:
FC:     Rank-1: 44.54% | Rank-5: 73.16% | Rank-10: 83.45%| Rank-20: 91.58%| mAP: 44.22%| mINP: 31.72%
# indoor
All Average:
FC:     Rank-1: 48.52% | Rank-5: 78.73% | Rank-10: 88.79%| Rank-20: 95.57%| mAP: 57.25%| mINP: 53.17%