当前位置: 代码迷 >> 综合 >> Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation
  详细解决方案

Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation

热度:76   发布时间:2023-10-31 18:57:58.0

题目:Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation
作者:Shizhou Zhang

一、研究动机
当人类比较两个相似的物体时通常会注意到其间的差异

二、研究目标
1.构建一种双路径跨模态特征学习网络
2.保留固有空间结构的同时,关注跨模态输入图片对之间的差异

三、技术方法
1.Dual-path Spatial-structure-preserving Common Space Network
目的:提取公共特征
结构:两条网络结构相似的支路
步骤:
①特定模态特征提取(特征提取)
②公共特征提取(特征嵌入,将特定模态特征映射到一个公共空间)
在这里插入图片描述

2.Contrastive Correlation Network
目的:使模型注意成对样本之间的差异
结构:内核生成模块、对比关系模块
步骤:
①内核生成模块:为某一样本生成个性化内核(旨在发现与常人不同的特征),并计算两个个性化内核之间的差异作为对比核
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

②对比关系模块:动态生成对比核,提取动态对比特征(区别于不考虑对比的固定特征提取的传统方法),并计算差别分数。

叉乘符号表示相关操作,相关操作是卷积操作,得到的值越大,差距越大:在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3.Overall Loss Function
在这里插入图片描述
p:预测标签
在这里插入图片描述
在这里插入图片描述
四、提出方法的依据
1.三维特征张量保留了一定的空间结构信息
2.每个核试图说明样本的局部特征。滑动进行采样可捕捉一个人的内在特征,而不受光照、姿态、视角、模式等因素的影响

五、实验效果
在这里插入图片描述

  相关解决方案