当前位置: 代码迷 >> 综合 >> Person Re-identification based on Two-Stream Network with Attention and Pose Features 论文总结笔记
  详细解决方案

Person Re-identification based on Two-Stream Network with Attention and Pose Features 论文总结笔记

热度:34   发布时间:2023-11-11 10:14:29.0

论文:基于注意力和姿势特征的双流网络行人重识别

文章目录

  • 1 摘要
  • 2 理论研究
    • 2.1 主网络框架
    • 2.2 特征融合
    • 2.2 self-attention
    • 2.3 pose estimattion
    • 2.4 Bilinear Pooling
  • 3 Loss

1 摘要

由于姿态、模糊、遮挡等问题的存在,行人的重新识别(re-ID,Re-ID)目前仍是一项具有挑战性的任务。本文结合了姿态估计和注意力机制的优点,利用双流网络将注意力和姿态相结合。提出的方法主要包含两部分:

融合多层特征和注意力的空间特征:从多个语义层次提取特征具有更好的鲁棒性,因此,本文融合了中层和高层特征(GoogleNet)。然后通过自我注意力(self-attention)将全局信息关联起来。融合了中高层特征,语义信息更加丰富,使得注意力机制能够更好的聚焦于图片的重要区域。

聚合注意力流和姿态估计流特征:因为注意力机制可以自动的关注显著性的重要区域,导致过于关注身体的突出部位,忽略身体的边缘信息,因此,通过姿态进行引导,使注意力能够更好的关注身体的各个部位。

rank1 = 93.3%(Market1501) 85.5%(DukeMTMC-reID)

2 理论研究

2.1 主网络框架

在这里插入图片描述

2.2 特征融合

融合多层特征和注意力的空间特征
目的:提取局部显著性特征,以便于获得更丰富的特征表示。
操作:经过实验得出,融合inception-3b,4d,4e效果最好

在这里插入图片描述
在这里插入图片描述

2.2 self-attention

得到了特征,下一步就是进行注意力操作,self-attention的框架如图所示:

在这里插入图片描述

程序链接: https://blog.csdn.net/qq_37405118/article/details/106947689.
讲解链接: https://zhuanlan.zhihu.com/p/55741364.

在这里插入图片描述
在这里插入图片描述

2.3 pose estimattion

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4 Bilinear Pooling

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3 Loss

在这里插入图片描述
在这里插入图片描述

  相关解决方案