当前位置: 代码迷 >> 综合 >> 论文阅读23 | A feature learning framework for cross-modality person re-identification
  详细解决方案

论文阅读23 | A feature learning framework for cross-modality person re-identification

热度:52   发布时间:2023-12-14 21:53:16.0

这篇文章主要的贡献在于提出了一种难挖掘的五元组损失,其实是由两个难挖掘三元组损失组成。每一批读入P个ID,每个ID有K张RGB和K张IR,依次选择每个样本作为anchor。

对于一个anchor,从两个模态相同ID的样本中选择距离最远的作为全局正样本,从两个模态不同ID的样本中选择距离最近的作为全局负样本,构成三元组损失Lhgt。从另一模态相同ID样本中距离最远的作为跨模态正样本,从另一模态不同ID样本中选择距离最近的作为跨模态负样本,加上anchor构成三元组损失Lhct。值得注意的是:对于一个anchor,它的全局正样本和跨模态正样本可能是相同的,全局负样本和跨模态负样本可能是相同的。

最终计算这两种损失的和形成五元组损失Hard pentaplet loss,加上ID损失,构成总损失。公式:

三元组损失Lhgt:在这里插入图片描述)
三元组损失Lhct:
在这里插入图片描述)
五元组损失Hard pentaplet loss:
在这里插入图片描述
除此之外,网络框架直接使用的单模态ReID的模型,需要将单通道的IR图像复制成三通道图像。作者尝试了Res-Mid, MGN, PCB, BFE, MLFN模型,最好的在SYSU-MM01上的rank1达到了41.36。这个框架主要包括三个组件:

Re-ID神经网络:提取RGB和红外图像共同特征

难挖掘样本方法:寻找难挖掘的五元组样本对

特征学习的HPI损失:包括五元组损失和身份损失
在这里插入图片描述


回顾三元组损失

原始三元组损失,对于每个anchor随机选择一个正样本和负样本,目的是让正样本对距离小于负样本对距离一个固定的值。
在这里插入图片描述
难挖掘三元组损失,对于每个anchor选择距离最近的负样本,选择距离最远的正样本,加快网络的收敛。
在这里插入图片描述

  相关解决方案