paper:
摘要
本文提出了一种新的AE模型，能够更有效地获得鲁棒特征
介绍
如何提取鲁棒特征
Jacobian矩阵是多维 f ( x ) f(x) f(x) 的一阶偏导，表示形式如下：
(1) ∣ ∣ J f ( x ) ∣ ∣ F 2 = ∑ i j ( ? h j ( x ) ? x i ) 2 ||J_f(x)||^2_F=\sum_{ij}(\frac{\partial h_j(x)}{\partial x_i})^2 \tag{1} ∣∣Jf?(x)∣∣F2?=ij∑?(?xi??hj?(x)?)2(1)
罚项 ∣ ∣ J f ( x ) ∣ ∣ F 2 ||J_f(x)||^2_F ∣∣Jf?(x)∣∣F2? 可以将特征空间收缩到训练数据更小的范围，这使得模型获得更好的不变性和鲁棒性。
AutoEncoder变种
AutoEncoder包括两个部分：encoder和decoder，起初AE模型的设计是为了实现数据降维，当encoder生成的code维度小于input维度时，就实现了降维的目标，此时的AE称为欠完备自编码器，反之，当code大于input维度时，称为过完备自编码器，在之前的博客中已经介绍，不做赘述。
基础的AutoEncoder结构
encoder过程将input映射到隐藏表征层，可以表示为：
(2) h = f ( x ) = s f ( W x + b h ) h=f(x)=s_f(Wx+b_h) \tag{2} h=f(x)=sf?(Wx+bh?)(2) 其中， s f s_f sf? 是非线性激活函数，常规的像sigmoid函数，权重矩阵 W W W 的维度为 d h ? d x d_h*d_x dh??dx?，偏置向量 b h ∈ R d n b_h \in R^{d_n} bh?∈Rdn?。
decoder过程使用隐层输出重建生成 y y y，表示如下：
(3) y = g ( h ) = s g ( W ′ h + b y ) y=g(h)=s_g(W'h+b_y) \tag{3} y=g(h)=sg?(W′h+by?)(3) 其中， s g s_g sg? 是decoder的激活函数，可以是sigmoid函数。