题目:Unsupervised Domain Adaptation with Noise Resistible Mutual-Training for Person Re-identification
作者:Fang Zhao
一、研究背景
无监督聚类产生的伪标签有噪声,会影响进一步自训练的效果。
二、研究目标
提出了Noise Resistible Mutual-Training (NRMT) method(可以抵抗噪音的相互训练方法),在自训练的基础上,进行聚类并分配伪标签,并优化两个问题,即如何聚类以及如何选择高质量(可靠、信息量大)的实例。
三、技术路线
1、用聚类的自训练
为了最小化损失(1),首先用源域数据初始化参数W;固定W,通过聚类最小化关于Y的损失;固定Y,并通过梯度下降优化关于W的损失。
2、用合作式聚类的互训练
在训练过程中同时维护两个网络,并允许这两个网络在每次迭代中,通过合作聚类共享聚类信息,以此减少他们各自的标签错误。网络拥有自己的伪标签和对应网络的伪标签。
如果样本被分配两个不同标签,那网络会优先按照简单样本进行训练,因此在下一次迭代时,错误就会被消除。
3、实例互选择
虽然合作式聚类可以在每次迭代时减少噪音样本的影响,但是在每个小的训练批次里,噪音样本仍会产生影响。
(1)可靠实例选择
用对应网络的预测置信度来衡量可靠性,D越小,置信度越高。
当D小于阈值Tc时,将三元组称为peer-confident triplet,并用它更新网络。
(2)信息丰富实例选择
在peer-confident的基础上,用关系不一致性衡量信息量。
首先计算两个网络预测的不一致性,I值越大,说明信息量越丰富:
只用大于阈值Td的的三元组更新模型。
将 peer-confidence与 relationship disagreement结合起来,得出:
即:
若Tc为一个合适的较小值,此三元组可视为能被忽略的简单样本(Td<g-f<Tc)。
四、提出方案的依据
(1)合作式的聚类可以增加额外的伪标签,减轻对噪音实例的拟合。因为网络更趋向于先拟合简单(正确)样本,而噪声样本相对来说是难样本;神经网络即使有相同结构,在不同初始值的情况下,仍会产生不同的局部最优值;
(2)相互的实例选择可以选择出更加可靠且富有信息的实例。
五、实验结果