之前人们所研究的算法都是针对单层字典学习(浅层字典学习),然而我们知道深层模型具有更抽象、更牛逼的表征能力。既然单层自编码对应的DL模型“栈式自编码”;RBM也有对应的DL模型“深度信念网络”;于是文献借助于这思想,也提出了单层字典学习的对应DL算法:深度字典学习。
单层字典学习:X=DZ
多层字典学习:X=D1*D2*Z
(1)我们首先训练学习出第一层特征Z1、权重D1:
X=D1*Z1
(2)然后对特征Z1进行分解,求解第二层权重D2、特征Z2:
Z1=D2*Z2
以此类推,就可以实现更深层的字典学习。
目标函数:
是2中方法的扩展论文,针对高光谱问题
在DDL中,基本思想是以贪婪的方式学习字典的多个级别,即,第一个级别学习标准的字典和系数。在后续级别中,前一级的系数充当字典学习的输入。尽管它产生的结果比众所周知的深度学习工具要好,但仍有改进的空间。标准字典学习基于最小化欧几里得范数;当噪声是高斯噪声时,这是最佳选择。高斯和稀疏噪声的混合会破坏高光谱图像。
Euclidean norm:高斯噪声. L0 norm: 稀疏噪声。L1 norm :两者都有
文中:增加了鉴别惩罚。词典的最后一级映射到目标标签。通过学习map,我们可以在DDL框架内进行分类
目标函数:、
与上文的区别,第一项使用了L1范数。
在加入鉴别项:
T:标签;W: 最深表示层到目标的判别线性映射