Conditional Adversarial Domain Adaptation(CADA)
因为gpu被沾满了,来解读一下CADA吧。
看题目,最先想到的是怎么实现“条件”的,如何刻画“条件”,啥意思呢?就是利用label prediction的信息。
分类器GGG 、特征提取器FFF、以及领域判别器DDD。
在DANN(baidu一下参考文献,做TL的都懂)里面,FFF是领域判别器DDD和类别分类器GGG的输入。没有利用不同类别的FFF和GGGsoftmax输出的关系。
其实FFF和GGG是有内在关联可以探寻的。不是把FFF和GGG简单串联起来,本文求二者的multilinear map,再输入到DDD和GGG里面。
原文crosscovariance of domain-specific feature representations and classifier predictions
softmax probabilities of source classifier, rather than conditioned on the class information
motivation我觉得说得很牵强,没搞懂GGG怎么和multimodal有关系了呢
First,adversarial adaptation methods may fail to capture multimodal structures for a discriminative alignment .
Second, it is risky to condition the domain discriminator on the discriminative information when it is uncertain.
对比GAN的objective,DDD是max的,而CADA中,DDD是min的
(3)是CDAN(conditional domain adversarial network)的目标函数
超参数lambdalambdalambda不是定值,
如果相乘维度在4096之内,softmax_output和 feature.unsqueeze之间矩阵乘法torch.bmm。可是论文里没说要把entropy weight归一化的事啊。