论文：DF2AM: Dual-level Feature Fusion and Affinity Modeling for RGB-Infrared Cross-modality Person Re-identification
创新点
本文的创新点在于，引入了局部特征分块加权求和再和全局特征相加计算损失；还有亲和力建模每个图像和该批所有其他图像之间的距离，同ID的距离变小，不同ID的距离应该大于一个margin。
1.网络框架
首先将RGB和IR图像投入到两个不同的conv卷积层中，提取低层特定模态的特征；然后使用共享的特征提取器Feat，去把特定模态特征转换到一个公共表示空间得到高层的模态共享特征。本文使用的backbone是resnet50。
随后，对于模态内特征学习，双级特征融合(DF2)模块学习部分part聚合的特征嵌入，并把他们和全局特征结合在一起；同时，共享特征提取器学习减少RGB和IR模态差异的对齐特征；对于模态间特征匹配，提出了一种相似性推理，来建模模态内和模态间全局特征之间的相似性关系，该邻居推理方案利用样本相似性中的类内紧凑性和类间可分离性，提高特征的鲁棒性。
（1） 多级特征融合（Dual-level Feature Fusion）
作者提出了局部注意机制，它通过一个可学习的转换函数来细化局部聚合特征，以考虑一个人不同身体部位之间的重要性。
首先将特征图分成p个水平特征空间部分，然后对每一块使用全局平均池化生成p个局部特征。使用可学习的p个参数（归一化后的），对p个局部特征加权求和。考虑到局部特征聚合无法充分利用全局的特征信息，所以又加上了对全局平均池化和批标准化后的全局特征。仍然使用交叉熵损失：
（2）亲和力建模
对齐图像的特征分布的一个常用策略就是难挖掘的三元组损失，比较复杂而且需要额外的计算资源。为此，作者提出了一个简单而有效的相似度推理方法。它利用样本相似性中的类内紧凑性和类间可分离性作为监督信息，来建模图像之间的亲和关系。目标是和其他人的任何图像相比，确保该人的anchor更接近该人的所有正面图像。
构建亲和力矩阵，每批N个身份，每个身份M个RGB和M个IR。
矩阵中的每个元素的计算：欧式距离越小，样本越相似。
真实值矩阵
使用样本的标签可以建立真实值矩阵G，如果是同一个ID，则元素为1，否则为0。我们期望负对的亲和元素应该大于正对的亲和元素一个margin。对于亲和矩阵中的每个元素，如果样本是同标签G为1，下式就是尽力让正对距离D小于0；如果样本非同标签G为0，下式尽力让m-D小于0，即让负对距离D大于m。
2.损失函数
本文的损失由三部分组成：多级特征融合损失LD，亲和力损失LA，baseline损失LB。值得注意，两个分支baseline的LB都是包括ID损失和单模态难挖掘三元组损失的。最终损失：
实验指标，在SYSU-MM01上all search上rank1达到了56.93，在RegDB上V to I上rank1达到了73.06。