Meta Auxiliary Learning for Facial Action Unit Detection

方法

损失函数

?假设在训练阶段有一个$\mathrm{A}\mathrm{U}$训练数据集DtraAU={(Xi,zi),1≤i≤N}\mathcal{D}^{AU}_{tra}=\{(\mathcal{X}_i,z_i),1\le i \le N\}DtraAU?={ (Xi?,zi?),1≤i≤N}和一个人脸表情数据集DtraFE={(Ei,yi),1≤i≤M}\mathcal{D}^{FE}_{tra}=\{(\mathcal{E}_i,y_i),1\le i \le M\}DtraFE?={ (Ei?,yi?),1≤i≤M}。作者保留了一个小的$\mathrm{A}\mathrm{U}$无偏验证数据集DvalAU={(Vi,zi),1≤i≤K}\mathcal{D}^{AU}_{val}=\{(\mathcal{V}_i,z_i),1 \le i \le K\}DvalAU?={ (Vi?,zi?),1≤i≤K}，并且该验证集是排除$\mathrm{A}\mathrm{U}$训练集之后的剩余集合里采样得到的。${\mathcal{X}}_i,{\mathcal{V}}_i,{\mathcal{E}}_i$分别表示的是集合${\mathcal{D}}_{tra}^{AU},{\mathcal{D}}_{val}^{AU},{\mathcal{D}}_{tra}^{FE}$的第$i$张图像。$N,K,M$分别表示的是集合${\mathcal{D}}_{tra}^{AU},{\mathcal{D}}_{val}^{AU},{\mathcal{D}}_{tra}^{FE}$中元素的总个数，并且有$K?N$。$y_i$表示的是一个$\mathrm{o}\mathrm{n}\mathrm{e}?\mathrm{h}\mathrm{o}\mathrm{t}$编码，特指$Q$个面部表情类别上的类别。zi∈{0,1}z_i\in \{0,1\}zi?∈{ 0,1}表示的是第$i$个$\mathrm{A}\mathrm{U}$单元。$1$表示$\mathrm{A}\mathrm{U}$被激活，$0$表示$\mathrm{A}\mathrm{U}$单元没有被不激活。

?作者利用多标签$\mathrm{sigmoid}$损失函数进行$\mathrm{A}\mathrm{U}$单元检测，具体的表达式表示为：$${\mathcal{L}}^{AU}=?\sum _j^J{z}^j\log {\hat{z}}^j+(1?z^j)\log (1?{\hat{z}}^j)$$其中$J$表示的是$\mathrm{A}\mathrm{U}$单元的个数。$z^j$表示的是输入$\mathrm{A}\mathrm{U}$样本的第$j$个真实$\mathrm{A}\mathrm{U}$标签。${\hat{z}}^j$表示是的预测的$\mathrm{A}\mathrm{U}$分数。
?对于$\mathrm{F}\mathrm{E}\mathrm{R}$，作者采用的是交叉熵损失函数，具体的表达式为$${\mathcal{L}}^{FE}=?\sum _q^Q{y}^q\log {\hat{y}}^q$$其中$Q$表示的是人脸表情类别。$y^q$和${\hat{y}}^q$分别表示的是真实标签和预测标签。
?多任务训练的常规目标是最小化所有单个任务的组合损失：$$L_{train}={\mathcal{L}}^{AU}(x,z)+\rho {\mathcal{L}}^{FE}(e,y)$$其中$\rho$表示的是人脸表情识别任务的贡献平衡系数。手动调整损失权重是费时费力的，恰恰相反，元辅助学习方法$\mathrm{M}\mathrm{A}\mathrm{L}$旨在通过一个元优化目标，自动学习为每个$\mathrm{A}\mathrm{U}$样本和$\mathrm{F}\mathrm{E}$样本分配自适应权重$w_i^{AU}$和$w_i^{FE}$ ，并且最小化损失：$${\mathcal{L}}_{total}=\sum _{i=1}^B{w}_i^{AU}{\mathcal{L}}_i^{AU}+\sum _{i=1}^B{w}_i^{FE}{\mathcal{L}}_i^{FE}$$其中$B$表示的是$\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{i}-\mathrm{b}\mathrm{a}\mathrm{t}\mathrm{c}\mathrm{h}$的尺寸。

元优化

?下图表示了$\mathrm{M}\mathrm{A}\mathrm{L}$的网络结构和元优化过程。$\mathrm{M}\mathrm{A}\mathrm{L}$的网络结构由基础网和元网组成。基础网络由主干网络和两个并行分类器组成。这两个分类器分别用于$\mathrm{A}\mathrm{U}$检测和$\mathrm{F}\mathrm{E}\mathrm{R}$检测。作者将主干网络表示为参数为${\theta }_b$的函数$f({\mathcal{X}}_i)$，两个分类器的参数分别是${\theta }_c^{AU}$和${\theta }_c^{FE}$。θAU={θb,θcAU}\theta_{AU}=\{\theta_b,\theta_c^{AU}\}θAU?={ θb?,θcAU?}表示与$\mathrm{A}\mathrm{U}$检测任务相关的参数，θFE={θb,θbFE}\theta_{FE}=\{\theta_b,\theta^{FE}_b\}θFE?={ θb?,θbFE?}表示与$\mathrm{F}\mathrm{E}\mathrm{R}$任务相关的参数，因此基础网络中的参数被表示为θ={θb,θcAU,θcFE}\theta=\{\theta_b,\theta^{AU}_c,\theta^{FE}_c\}θ={ θb?,θcAU?,θcFE?}。元网络接受图像特征$f({\mathcal{X}}_i)$作为特征，并将$f({\mathcal{X}}_i)$映射成标量权重$w$。作者将元网络表示为带有参数$\psi$的函数$g(f({\mathcal{X}}_i))$。
?如下图所示，$\mathrm{M}\mathrm{A}\mathrm{L}$的元优化过程由三个阶段组成分别是：元学习，元测试和主干学习。在每次训练迭代中，$\mathrm{M}\mathrm{A}\mathrm{L}$依次执行以上三个步骤。在元训练阶段，基础网络将一批$\mathrm{A}\mathrm{U}$和$\mathrm{F}\mathrm{E}$样本作为输入样本，并计算每个样本的损失。元网络中估计$\mathrm{A}\mathrm{U}$和$\mathrm{F}\mathrm{E}$样本的初始权重分别为$w^{AU}$和$w^{FE}$。这两个任务的损失通过它们各自的样本权重进行缩放，以多任务方式更新基础网络（$\theta \to {\theta }^{?}$）。在元测试阶段，$\mathrm{M}\mathrm{A}\mathrm{L}$从验证集中获取一批$\mathrm{A}\mathrm{U}$样本作为输入，并评估更新后的基础网络的性能。然后，$\mathrm{M}\mathrm{A}\mathrm{L}$执行元梯度下降步骤来更新元网络$(\psi \to \hat{\psi })$。在基础学习步骤中，$\mathrm{M}\mathrm{A}\mathrm{L}$结合自适应样本权重$({\hat{w}}^{AU},{\hat{w}}^{FE})$学习这两个任务，以重新更新基础网络($\theta \to \hat{\theta }$)。

元训练阶段

?给定一批$\mathrm{A}\mathrm{U}$样本XtraAU={(Xi,zi),1≤i≤B}\mathcal{X}^{AU}_{tra}=\{(\mathcal{X}_i,z_i),1 \le i \le B\}XtraAU?={ (Xi?,zi?),1≤i≤B}，EtraFE={(Ei,yi),1≤i≤B}\mathcal{E}^{FE}_{tra}=\{(\mathcal{E}_i,y_i),1 \le i \le B \}EtraFE?={ (Ei?,yi?),1≤i≤B}，主干网络提取特征表示为$f({\mathcal{X}}_i)$和$f({\mathcal{E}}_i)$。利用编码的图像特征，$\mathrm{M}\mathrm{A}\mathrm{L}$通过元网络获得每个样本的权重表示为：$${\hat{w}}_i^{AU}=g(f({\mathcal{X}}_i);\hat{\psi })$$$${\hat{w}}_i^{FE}=g(f({\mathcal{E}}_i);\hat{\psi })$$
$\mathrm{M}\mathrm{A}\mathrm{L}$计算当前训练批次样本的平衡多任务损失:$${\hat{\mathcal{L}}}_{total}=\sum _{i=1}^B{\hat{w}}_i^{AU}{\mathcal{L}}_i^{AU}({\theta }_{AU})+\sum _{i=1}^B{\hat{w}}_i^{FE}{\mathcal{L}}_i^{FE}({\theta }_{FE})$$通过最小化${\hat{L}}_{total}$，$\mathrm{M}\mathrm{A}\mathrm{L}$重新更新基础网络的参数：$$\hat{\theta }=\theta ?\alpha {?}_{\theta }{\hat{\mathcal{L}}}_{total}$$其中$\alpha$表示的是学习率，$\hat{\theta }$和$\hat{\psi }$表示的是下一次训练迭代中基础网络和元网络的初始参数。与用于多任务学习的普通随机梯度下降方法不同，$\mathrm{M}\mathrm{A}\mathrm{L}$交替更新基础网络参数$\theta$和元网络参数$\psi$。

?上述三个阶段的完整算法在如下算法中有所概述，主要通过深度学习框架$\mathrm{p}\mathrm{y}\mathrm{t}\mathrm{o}\mathrm{r}\mathrm{c}\mathrm{h}$来实现。