题目:Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation
作者:Shizhou Zhang
一、研究动机
当人类比较两个相似的物体时通常会注意到其间的差异
二、研究目标
1.构建一种双路径跨模态特征学习网络
2.保留固有空间结构的同时,关注跨模态输入图片对之间的差异
三、技术方法
1.Dual-path Spatial-structure-preserving Common Space Network
目的:提取公共特征
结构:两条网络结构相似的支路
步骤:
①特定模态特征提取(特征提取)
②公共特征提取(特征嵌入,将特定模态特征映射到一个公共空间)
2.Contrastive Correlation Network
目的:使模型注意成对样本之间的差异
结构:内核生成模块、对比关系模块
步骤:
①内核生成模块:为某一样本生成个性化内核(旨在发现与常人不同的特征),并计算两个个性化内核之间的差异作为对比核
②对比关系模块:动态生成对比核,提取动态对比特征(区别于不考虑对比的固定特征提取的传统方法),并计算差别分数。
叉乘符号表示相关操作,相关操作是卷积操作,得到的值越大,差距越大:
3.Overall Loss Function
p:预测标签
四、提出方法的依据
1.三维特征张量保留了一定的空间结构信息
2.每个核试图说明样本的局部特征。滑动进行采样可捕捉一个人的内在特征,而不受光照、姿态、视角、模式等因素的影响
五、实验效果