论文：基于注意力和姿势特征的双流网络行人重识别
文章目录
- 1 摘要
- 2 理论研究
-
- 2.1 主网络框架
- 2.2 特征融合
- 2.2 self-attention
- 2.3 pose estimattion
- 2.4 Bilinear Pooling
- 3 Loss
1 摘要
由于姿态、模糊、遮挡等问题的存在，行人的重新识别(re-ID，Re-ID)目前仍是一项具有挑战性的任务。本文结合了姿态估计和注意力机制的优点，利用双流网络将注意力和姿态相结合。提出的方法主要包含两部分：
融合多层特征和注意力的空间特征：从多个语义层次提取特征具有更好的鲁棒性，因此，本文融合了中层和高层特征（GoogleNet）。然后通过自我注意力（self-attention）将全局信息关联起来。融合了中高层特征，语义信息更加丰富，使得注意力机制能够更好的聚焦于图片的重要区域。
聚合注意力流和姿态估计流特征：因为注意力机制可以自动的关注显著性的重要区域，导致过于关注身体的突出部位，忽略身体的边缘信息，因此，通过姿态进行引导，使注意力能够更好的关注身体的各个部位。
rank1 = 93.3%(Market1501) 85.5%(DukeMTMC-reID)
2 理论研究
2.1 主网络框架
2.2 特征融合
融合多层特征和注意力的空间特征
目的：提取局部显著性特征，以便于获得更丰富的特征表示。
操作：经过实验得出，融合inception-3b,4d,4e效果最好
2.2 self-attention
得到了特征，下一步就是进行注意力操作，self-attention的框架如图所示：
程序链接: https://blog.csdn.net/qq_37405118/article/details/106947689.
讲解链接: https://zhuanlan.zhihu.com/p/55741364.
2.3 pose estimattion
2.4 Bilinear Pooling
3 Loss
