一. 论文信息简介
(1)题目的含义:
个人理解,这里的dense包含两层含义:
a. 论文针对真实场景中浓雾(dense haze covered)进行去除,这是dense的第一层含义;
b. 论文的feature network基于dense net,这是dense的第二层含义;
(2)作者信息:
本文是NTIRE(New Trends in Image Restoration and Enhancement)2019 dehaze赛道中的top1论文,方法简洁,直接,依旧沿用了data driven这个趋势,学习(extimation) haze生成模型中的关键参数,并最终取得了良好的效果.
作者来自宾夕法尼亚州立大学,电子工程系.
二.前言导读
一直以来,图像去雾是一项最具有挑战性的逆向问题.深度学习能够获得质量更高的去雾效果,将这个领域提升到一个新的状态,极大的弥补了传统模型的不足.然而,现实中图像的去雾问题仍旧是一个挑战,现实图片往往被浓雾遮挡,甚至从视觉上看不到场景信息.
深度学习的一般做法是,利用网络参数,估计haze模型中的物理参数:
ambient light(环境光) : Atransmission map(透射率) : t
而haze模型如下:
其中,为被雾遮挡的实际图像,为理想中的无遮挡清晰图像(隐藏的参考图像),为透射率, A为环境光参数.
透射率,表示透明体透过光的程度,通常用透过后的光通量与入射光通量 之比表示,在这里可以理解为haze dense的程度.
环境光,我理解是当时的光照环境,同时影响颜色,阴影等效果.
估计出上述两个参数后,就可以逆向计算出.
传统的去雾方法可以参考:Single Image Haze Removal Using Dark Channel Prior,这是何凯明大神的博士之作,功底可见一斑.但是,传统的方法,和window size的选择有很大关系,形成的效果容易造成不平滑,规则简单.深度学习的方法会利用数据进行训练,利用不同尺度下的特征及复杂的非线性拟合,自发学习不同环境下的参数,达到的效果要好很多.
三.网络结构及损失函数
在这里选用其中的模型进行介绍,具体各层的详细信息请参见论文table-1, table-2.
基本的网络结构如上图,encoder部分采用densenet并利用pretrained model进行训练,encoder的特征被后面的三个decoder使用,其中:
: 学习haze-free image
:学习环境光参数
: 学习透射率参数
上述三项,分辨率是相等的,