论文：Channel Augmented Joint Learning for Visible-Infrared Recognition
出处：CVPR 2021
1.摘要
这篇文章介绍了一种通道增强联合学习策略。对于数据增强，大多数现有的方法直接采用针对单可见图像设计的标准操作，没有充分考虑可见光到红外图像的匹配。文章的基本思想是通过随机交换颜色通道来均匀地生成与颜色无关的图像。它可以无缝地集成到现有的增强操作中，而不修改网络，持续提高对颜色变化的鲁棒性；结合随机擦除策略，通过模拟随机遮挡，进一步大大丰富了多样性；对于跨模态度量学习，文章设计了一种增强的通道混合学习策略，以同时处理内部和跨模态的变化。此外，进一步提出了通道增强联合学习策略，优化增强图像的输出。
2.通道增强
交叉模态匹配通常是学习模态共享或不变特征。本文的贡献主要分两部分：
2.1 随机通道可交换性增强
三通道彩色可见光图像包含丰富的外观信息，而颜色信息有利于可见光-红外匹配。然而，直接生成灰度图会损失颜色信息，而直接从单通道红外图像中恢复三通道可见光图像也是相当困难的。因此，我们学习如何匹配红外图像和可见光图像的彩色通道。
方法就是随机选择RGB的一个通道(R、G或B)来替代其他通道，通过集中于一个通道，生成新的训练图像。在一般的图像变换函数之后，再加入该随机信道增强函数。随机体现在原图、纯R、纯G、纯B的图像四选一。该策略鼓励模型，去学习可见光图像的每个颜色通道与单通道红外图像之间的显式关系。
2.2 通道级随机擦除
随即擦除就是给定一个擦除概率，在训练图像中随机选择一个矩形区域，并将所有三个通道的像素值替换为随机值， 模拟不确定的遮挡情况。它是一种图像级别的随机补丁擦除。
因此，本文结合通道增强，随机选择不同通道(R、G和B)的擦除区域。在每个信道选择的选定擦除区域内，每个像素被分配给特定的预定义值α。根据经验，我们选择从大规模ImageNet中获得的R、G和B通道的平均值作为每个通道的擦除值。值得注意，在通道级随机擦除过程中，我们先简单地将其转换为三个复制的单通道图像。
除此之外，加入随机灰度转换，增强对颜色变换的鲁棒性；随机水平翻转，缓解视角变化。
3. 跨模态度量学习
两个跨模态度量学习策略，通道增强混合学习、通道增强联合学习。CA：通道交换增强、CRE通道擦除、GA随机灰度转换、FP随机水平翻转。
损失 = 损失函数ID损失（共享分类器）+ 增强的加权正则三元组
4.实验结果
