cvpr2020 | 图像增强与恢复论文盘点
[转自] https://www.cnblogs.com/yijun009/p/13223175.html
有论文题目、代码和摘要，参考https://blog.csdn.net/moxibingdao/article/details/107054319，机翻，介意勿看。
图像与视频增强（Image&Video Enhancement）
零参考深度曲线估计用于低照度图像增强
[1].Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement
作者 | Chunle Guo, Chongyi Li, Jichang Guo, Chen Change Loy, Junhui Hou, Sam Kwong, Runmin Cong
单位 | 天津大学；香港城市大学；南洋理工大学；北京交通大学
代码 | https://li-chongyi.github.io/Proj_Zero-DCE.html/
摘要 |
提出了一个新颖的方法,零基准深度曲线估计(Zero-DCE),制定光增强为特定于映像的曲线估算深度网络的任务。我们的方法训练一个轻量级深度网络DCE-Net来估计像素和高阶曲线，以便对给定图像进行动态范围调整。考虑到像素值的范围、单调性和可微性，特别设计了曲线估计。零的吸引力在于它对参考图像的轻松假设，即:训练时不需要任何配对或未配对的数据。这是通过一组精心制定的非参考损失函数来实现的，它隐式地测量增强质量并驱动网络的学习。我们的方法是有效的，因为图像增强可以实现直观和简单的非线性曲线映射。尽管它很简单，但我们证明它能很好地适用于不同的照明条件。在各种基准上的广泛实验证明了我们的方法在质量和数量上比先进的方法的优势。此外，本文还讨论了零dce在黑暗环境下对人脸检测的潜在好处。
通过分解和增强来恢复低照度图像
[2].Learning to Restore Low-Light Images via Decomposition-and-Enhancement
作者 | Ke Xu, Xin Yang, Baocai Yin, Rynson W.H. Lau
单位 | 大连理工大学；香港城市大学；鹏城实验室
摘要 |
弱光图像通常有两个问题。首先，它们的能见度很低。，小像素值)。其次，由于低信噪比，噪声变得很重要，干扰了图像内容。大多数现有的低光图像增强方法，然而，学习从噪声可忽略的数据集。他们依靠的是拥有良好的摄影技能的用户在低噪音的情况下拍摄图像。不幸的是，这不是大多数低光图像的情况。同时增强微光图像并去除其噪声是病态的，我们观察到噪声在不同的频率层表现出不同的对比度，并且在低频层比在高频层更容易检测到噪声。受此启发，我们提出了一个基于频率的分解和增强模型用于微光图像增强。在此基础上，我们提出了一种新的网络，该网络首先在低频层学习恢复图像中的目标，然后基于恢复的图像目标增强高频细节。此外，我们还准备了一个新的具有真实噪声的弱光图像数据集，便于学习。最后，我们进行了大量的实验，证明了所提出的方法在增强实际的有噪声的微光图像方面优于现有的方法。
时空感知的多分辨率视频增强技术
[3].Space-Time-Aware Multi-Resolution Video Enhancement
作者 | Muhammad Haris, Greg Shakhnarovich, Norimichi Ukita
单位 | 日本丰田工业大学；丰田工业大学芝加哥分校
代码 | https://github.com/alterzero/STARnet
摘要 |
考虑了时空超分辨率(ST-SR)问题:增加视频帧的空间分辨率，同时对帧进行插值以提高帧速率。现代方法一次处理一个轴。相比之下，我们所提出的“星网”模型在空间和时间上可以共同解决问题。这使我们能够利用时间和空间之间的相互信息关系:更高的分辨率可以提供更多关于运动的详细信息，更高的帧率可以提供更好的像素对齐。在ST-SR期间，我们模型中产生潜在的低分辨率和高分辨率表示的组件，可以用来为仅仅是空间或仅仅是时间的超分辨率调整专门的机制。实验结果表明，STARnet通过在公开数据集上提供大量的边际，提高了时空、空间和时间视频超分辨率的性能。
低光照图像增强的半半监督方法
[4].From Fidelity to Perceptual Quality: A Semi-Supervised Approach for Low-Light Image Enhancement
作者 | Wenhan Yang, Shiqi Wang, Yuming Fang, Yue Wang, Jiaying Liu
单位 | 香港城市大学；江西财经大学；ByteDance Technology Co., Ltd.；北大
摘要 |
曝光不足会导致一系列的视觉退化，如能见度降低、噪声强烈和色彩偏置等。为了解决这些问题，我们提出了一种新的半监督学习方法用于微光图像增强。深度递归带网络(DRBN)的恢复提出了一个线性乐队表示增强普通光照图像搭配低/普通光照图像,然后获得一个改进的一个给定的乐队重组通过另一个可学的线性变换基于知觉面向质量的对抗性的学习与未配对数据。该体系结构强大而灵活，具有使用成对和非成对数据进行培训的优点。一方面，所提出的网络设计得很好，可以提取一系列由粗到细的带表示，它们的估计在递归过程中是互惠的。另一方面，DRBN(递归带学习)第一阶段提取的增强图像的带表示，弥补了成对数据的恢复知识和对真实高质量图像的感知质量偏好之间的差距。其第二阶段(波段重组)通过对抗性学习，学习重新组合波段表示，以拟合高质量图像的感知属性。在这两阶段设计的帮助下，我们的方法产生了增强的结果与重建良好的细节和视觉上有前途的对比和颜色分布。定性和定量评价显示了我国DRBN的优越性。
深度局部参数滤波器实现可解释的图像增强
[5].DeepLPF: Deep Local Parametric Filters for Image Enhancement
作者 | Sean Moran, Pierre Marza, Steven McDonagh, Sarah Parisot, Gregory Slabaugh
单位 | 华为诺亚方舟实验室；里昂国立应用科学学院；Mila Montreal
摘要 |
数码艺术家经常通过手工修饰来提高数码照片的审美质量。除了全球调整，专业的图像编辑程序提供本地调整工具操作的特定部分的图像。选项包括参数化(渐变，径向过滤器)和无约束画笔工具。这些表达能力很强的工具支持多种本地映像增强功能。然而，它们的使用可能会耗费时间，并且需要艺术能力。最先进的自动图像增强方法通常集中在学习像素级。或全球增强。前者可能噪声很大，缺乏可解释性，而后者可能无法捕捉到精细的调整。在本文中，我们介绍了一种新的方法来自动增强图像使用学习的三种不同类型的空间局部滤波器(椭圆滤波器，渐变滤波器，多项式滤波器)。我们引入了深度神经网络，称为深度局部参数滤波器(DeepLPF)，它回归这些空间局部滤波器的参数，然后自动应用这些滤波器增强图像。DeepLPF提供了一种自然形式的模型正则化，并支持可解释的、直观的调整，从而产生视觉上令人满意的结果。我们报告了多个基准测试，并表明DeepLPF在MIT-Adobe 5k数据集的两个变体上产生了最先进的性能，通常使用的参数只是竞争方法所需的一小部分。
利用毫米波雷达进行穿雾式高分辨率成像
[6].Through Fog High-Resolution Imaging Using Millimeter Wave Radar
作者 | Junfeng Guan, Sohrab Madani, Suraj Jog, Saurabh Gupta, Haitham Hassanieh
单位 | 伊利诺伊大学厄巴纳-香槟分校
摘要 |
本文演示了使用毫米波(mmWave)雷达的高分辨率成像，即使在浓雾中也能发挥作用。我们利用了毫米波信号在低能见度条件下具有良好传播特性的事实，不像光学传感器如相机和激光雷达不能穿透浓雾。然而，毫米波雷达的分辨率很低，具有很强的观察力和噪声伪影。我们介绍了HawkEye，一个利用cGAN架构从原始的低分辨率mm波热图恢复高频形状的系统。我们提出了一种新颖的设计，解决了所涉及的雷达信号的结构和性质的特定挑战。我们还开发了一个数据合成器，以帮助大规模数据集生成训练。我们在一个定制的毫米波雷达平台上实施我们的系统，并演示在标准毫米波雷达和其他竞争基准上的性能改进。
深度多模态传感器融合在不可预见的恶劣天气中的应用
[7].Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather
作者 | Mario Bijelic, Tobias Gruber, Fahim Mannan, Florian Kraus, Werner Ritter, Klaus Dietmayer, Felix Heide
单位 | 奔驰；Algolux；乌尔姆大学；普林斯顿大学
代码 | https://github.com/princeton-computational-imaging/SeeingThroughFog
摘要 |
相机、激光雷达和雷达测量等多模态传感器流的融合在自动驾驶车辆的目标检测中起着至关重要的作用，自动驾驶车辆基于这些输入进行决策。虽然现有的方法在良好的环境条件下利用冗余信息，但在不利的天气条件下却失败了，因为在不利天气条件下，感觉流可能会不对称地扭曲。这些罕见的“边缘情况”场景没有出现在可用的数据集中，现有的融合架构也没有设计来处理它们。为了应对这一挑战，我们提供了一个在北欧超过10000公里的驾驶过程中获得的新型多模态数据集。尽管该数据集是在恶劣天气下的第一个大型多模态数据集，为激光雷达、摄像机、雷达和门控近红外传感器提供了100k标签，但由于极端天气很少见，它不能帮助训练。为此，我们提出了一种深度融合网络，用于鲁棒融合，而不需要包含所有非对称失真的标记训练数据的大型语料库。与之前的融合不同，我们提出了一种基于测量熵的自适应融合特征的单镜头模型。我们验证了提出的方法，在清洁数据上训练，在我们广泛的验证数据集上。代码和数据可以在这里获得:https://github.com/princeton-computational-imaging/SeeingThroughFog。
图像恢复（Image Restoration ）
改进数据合成方法用于真实图像恢复
[8].CycleISP: Real Image Restoration via Improved Data Synthesis
作者 | Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, Ling Shao
单位 | IIAI；加州大学美熹德分校；谷歌
代码 | https://github.com/swz30/CycleISP
备注 | CVPR 2020 Oral
摘要 |
大规模数据集的可用性帮助释放了深度卷积神经网络(CNNs)的真正潜力。然而，对于单图像去噪问题，捕获真实数据集是一个昂贵而繁琐的过程。因此，图像去噪算法大多是在广泛假设加性高斯白噪声(AWGN)下生成的合成数据上发展和评估的。尽管cnn在这些合成数据集上取得了令人印象深刻的结果，但正如最近的基准数据集报道的那样，它们在实际相机图像上的表现并不好。这主要是因为AWGN不足以对真实的摄像机噪声进行建模，而真实的摄像机噪声依赖于信号，并且被摄像机成像管道严重转化。在本文中，我们提出了一个模型的相机成像管道在正向和反向的框架。它允许我们产生任何数量的真实图像对去噪在RAW和sRGB空间。通过在真实的合成数据上训练一个新的图像去噪网络，我们在真实的相机基准数据集上获得了最先进的性能。我们模型中的参数比之前最好的原始去噪方法小5倍。此外，我们还证明了所提出的框架不仅适用于图像去噪问题，也适用于立体电影中的颜色匹配问题。源代码和预先训练的模型可以在https://github.com/swz30/CycleISP上获得。
人脸图像修复
[9].Enhanced Blind Face Restoration With Multi-Exemplar Images and Adaptive Spatial Feature Fusion
作者 | Xiaoming Li, Wenyu Li, Dongwei Ren, Hongzhi Zhang, Meng Wang, Wangmeng Zuo
单位 | 哈尔滨工业大学；天津大学；合肥工业大学
代码 | https://github.com/csxmli2016/ASFFNet
摘要 |
在许多真实的人脸修复应用中，如智能手机相册和老电影中，同一个人的多个高质量(HQ)图像通常可用于给定的低质量(LQ)观察。然而，现有的引导人脸复原方法大多基于单一HQ样例图像，在对未知退化过程的泛化能力的挖掘上存在局限性。针对这些问题，本文提出了利用多样本图像和自适应融合制导图像和退化图像特征来提高盲人脸恢复性能的方法。首先，在退化观测的情况下，根据地标集合上的加权仿射距离选择最优制导，学习其中的地标权重，使制导图像得到优化，以适应图像重构。其次，利用移动最小二乘和自适应实例归一化对特征空间中的制导图像进行空间对齐和光照变换。最后，为了更好地融合特征，引入多个自适应空间特征融合(ASFF)层，以自适应和渐进的方式融合引导特征，形成了我们的ASFFNet。实验表明，我们的ASFFNet在定量和定性评价方面表现良好，并能有效地在真实LQ图像上生成逼真的结果。源代码和模型可在https://github.com/csxmli2016/ASFFNet获得
图像重建、恢复和超分辨率
[10].EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning
作者 | Lin Wang, Tae-Kyun Kim, Kuk-Jin Yoon
单位 | 韩国科学技术院；伦敦帝国学院
数据集 | https://github.com/wl082013/ESIM_dataset
摘要 |
事件相机可以感知强度的变化，与传统相机相比有很多优势。为了充分利用事件摄像机的优势，提出了从事件流中重建强度图像的方法。然而，输出仍然是低分辨率(LR)，噪声和不现实的。低质量的输出使得事件相机的应用更加广泛，因为它不仅需要高的空间分辨率，还需要高的时间分辨率、动态范围和无运动模糊。考虑了在没有地面真值(GT) HR图像和低采样核的情况下，从纯事件中重建和超分辨强度图像的问题。为了解决这个问题，我们提出了一种叫做EventSR的全新端到端的管道，它可以从事件流中重新构建LR图像，提高图像质量并对增强后的图像进行采样。由于缺乏真实的GT图像，我们的方法主要是无监督的，部署对抗性学习。为了训练EventSR，我们创建了一个包括真实场景和模拟场景的开放数据集。两种数据集的使用提高了网络性能，各阶段的网络架构和各种损失函数有助于提高图像质量。整个管道的培训分三个阶段进行。虽然每一阶段主要是三个任务中的一个，但较早阶段的网络是由各自的损耗函数以端到端方式进行微调的。实验结果表明，EventSR可以从模拟和真实数据的事件中生成高质量的SR图像。
立体图像恢复中的视差感知域适应性
[11].Disparity-Aware Domain Adaptation in Stereo Image Restoration
作者 | Bo Yan, Chenxi Ma, Bahetiyaer Bare, Weimin Tan, Steven C. H. Hoi
单位 | 复旦大学；新加坡管理大学
摘要 |
在立体环境下，视差估计、立体放大和立体合成等问题已引起广泛关注。但图像质量的限制给相关应用的开发带来了不可忽视的困难，成为立体图像的主要瓶颈。就我们所知，立体图像恢复很少被研究。为此，本文分析了如何有效地挖掘视差信息，提出了一种统一的立体图像恢复框架。该框架明确地学习了立体视图之间的内在像素对应关系，并在图像和特征层面利用交叉视图信息恢复立体图像。引入特征调制密集块(FMDB)在整个网络中插入视差先验。实验结果表明，该框架在效率、目标和感知质量以及深度估计精度等方面都具有较好的效果。
无监督图像恢复
[12].Learning Invariant Representation for Unsupervised Image Restoration
作者 | Wenchao Du, Hu Chen, Hongyu Yang
单位 | 四川大学
代码 | https://github.com/Wenchao-Du/LIR-for-Unsupervised-IR
摘要 |
近年来，跨域传输应用于无监督图像恢复任务。但是，由于缺乏有效的监督，直接应用现有框架会导致翻译后的图像出现域转移问题。相反，我们提出了一种无监督学习方法，它可以明确地从有噪声的数据中学习不变量表示，并重建清晰的观察结果。为此，我们在一般的域转换框架中引入离散解纠缠表示和对敌域适应，并借助额外的自监督模块，包括背景和语义一致性约束，学习双重域约束下的鲁棒表示，如特征域和图像域。在合成和真实的噪声去除任务上的实验表明，该方法具有与其他先进的监督和非监督方法相当的性能，同时比其他领域自适应方法具有更快和稳定的收敛速度。
图像与视频去噪（Image&Video Denoising）
实时视频去噪
[13].FastDVDnet: Towards Real-Time Deep Video Denoising Without Flow Estimation
作者 | Matias Tassano, Julie Delon, Thomas Veit
单位 | GoPro France；Universite de Paris & IUF；
代码 | https://github.com/m-tassano/fastdvdnet
摘要 |
在本文中，我们提出了一种最先进的基于卷积神经网络架构的视频去噪算法。直到最近，神经网络的视频去噪仍是一个有待探索的领域，现有的方法在性能上无法与最佳的基于块的方法竞争。我们在本文中介绍的方法，称为FastDVDnet，显示了类似或更好的性能，与其他的竞争对手与显著降低计算时间。与其他现有的神经网络去噪器相比，我们的算法展示了一些令人满意的特性，如快速运行时间，以及用单一网络模型处理大范围噪声水平的能力。其体系结构的特点使其在获得优异性能的同时避免使用昂贵的运动补偿阶段成为可能。该算法的去噪性能与较低的计算量相结合，使其在实际去噪应用中具有很大的吸引力。我们将我们的方法与不同的先进算法进行比较，包括视觉上的和关于客观质量度量的
event相机的去噪
[14].Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras
作者 | R. Wes Baldwin, Mohammed Almatrafi, Vijayan Asari, Keigo Hirakawa
单位 | 戴顿大学；Umm Al-Qura University
代码 | https://github.com/bald6354/EPM（尚未）
更多介绍 | https://www.zhihu.com/question/47111443
摘要 |
本文提出了一种新的方法，通过计算在短时间内每个像素产生一个事件的可能性来标记真实的神经形态相机传感器数据，我们称之为“事件概率掩码”或EPM。它的应用包括:(i)事件去噪性能的目标基准测试，(ii)训练卷积神经网络去噪称为“事件去噪卷积神经网络”(EDnCNN)，以及(ii)估计相机内部神经形态参数。我们提供了第一个数据集(DVSNOISE20)的真实世界标记神经形态相机事件去噪。
从单幅图像中学习自监督去噪的方法
[15].Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image
作者 | Yuhui Quan, Mingqin Chen, Tongyao Pang, Hui Ji
单位 | 华南理工大学；新加坡国立大学
摘要 |
在过去的几年里，监督深度学习已经成为图像去噪的一个强大工具，它在外部有噪声/干净图像对数据集上训练去噪网络。然而，对高质量训练数据集的要求限制了去噪网络的广泛适用性。最近，有一些工作允许训练一个去噪网络的集合的外部噪声图像。进一步提出了一种仅使用输入噪声图像本身进行训练的自监督学习方法。在该方法中，网络在输入图像的一对伯努利采样实例上进行带有dropout的训练，并通过对训练模型的多个实例的带有dropout的预测进行平均来估计结果。实验表明，该方法不仅显著优于现有的单图像学习o1非学习方法，而且与在外部数据集上训练的去噪网络相比具有竞争力
自引导的联合去马赛克和去噪
[16].Joint Demosaicing and Denoising With Self Guidance
作者 | Lin Liu, Xu Jia, Jianzhuang Liu, Qi Tian
单位 | 华为诺亚方舟实验室；中国科学技术大学
摘要 |
去噪和去噪通常处于计算摄影的早期阶段，在现代相机图像处理中起着重要的作用。近年来，一些神经网络在关节去噪和去噪方面表现出了良好的效果。他们中的大多数人首先将拜耳的原始图像分解成四通道RGGB图像，然后将其输入神经网络。这种做法忽略了这样一个事实，即绿色通道的采样率是红色和蓝色通道的两倍。在本文中，我们提出了一种自导引网络(SGNet)，它首先估计绿色通道，然后作为一种导引来恢复输入图像中所有缺失的值。另外，在图像恢复中，由于不同频率区域的退化程度不同。我们提出了一个密度图指导，以帮助模型处理宽范围的频率。我们的模型在四个公共数据集(包括两个真实数据集和两个合成数据集)上的性能优于最先进的关节去噪和去噪方法。最后，我们还验证了我们的方法在关节去噪、去噪和超分辨率方面取得了最好的效果。
视频去噪
[17].Supervised Raw Video Denoising With a Benchmark Dataset on Dynamic Scenes
作者 | Huanjing Yue, Cong Cao, Lei Liao, Ronghe Chu, Jingyu Yang
单位 | 天津大学
代码 | https://github.com/cao-cong/RViDeNet
摘要 |
近年来，针对真实噪声图像去噪的监督学习策略已经出现，并取得了良好的效果。相比之下，由于缺少对动态场景的无噪声处理，对原始有噪声视频的真实去除研究很少。对于动态场景来说，干净的视频帧不能像静态图像那样，用长曝光快门或平均多镜头来捕捉。在本文中，我们通过创建可控制对象(如玩具)的运动，并多次捕捉每个静态时刻来生成清晰的视频帧来解决这个问题。通过这种方法，我们构建了一个包含55组无噪声视频的数据集，这些视频的ISO值从600到25600不等。据我们所知，这是第一个具有无噪声对的动态视频数据集。相应的，我们提出了一个原始视频去噪网络(RViDeNet)，通过探索视频帧的时间、空间和信道相关性。由于原始视频具有拜耳模式，我们将其打包成四个子序列i。将RGBG序列分别用RViDeNet去噪，最后融合成一个干净的视频。另外，我们的网络不仅输出原始的去噪结果，而且通过图像信号处理(ISP)模块输出sRGB结果，使用户可以用他们喜欢的ISP生成sRGB结果。实验结果表明，我们的方法在室内和室外视频去噪优于最先进的视频和原始图像去噪算法.
用于极端低照度的Raw图像去噪
[18].A Physics-Based Noise Formation Model for Extreme Low-Light Raw Denoising
作者 | Kaixuan Wei, Ying Fu, Jiaolong Yang, Hua Huang
单位 | 北京理工大学；微软
代码 | https://github.com/Vandermode/ELD
备注 | CVPR 2020 Oral
摘要 |
由于缺乏丰富且真实的数据，学习后的单幅图像去噪算法在真实的原始图像上泛化效果不佳，与用于训练的数据不太相似。虽然异方差高斯噪声模型可以缓解这一问题，但数码相机电子产品产生的噪声源，尤其是在极低光条件下，对原始测量的影响很大程度上仍被忽略。为了解决这个问题，我们提出了一个基于CMOS光传感器特性的高精度噪声形成模型，从而使我们能够合成更符合图像形成过程物理特性的真实样本。在提出的噪声模型的基础上，我们还提出了一种可用于现代数码相机的噪声参数的标定方法，该方法简单且可用于任何新设备。通过引入一个新的低光去噪数据集，我们系统地研究了用现有方案训练的神经网络的通用性，该数据集涵盖了许多不同品牌的现代数码相机。广泛的经验结果集体表明，利用我们提出的噪声形成模型，网络可以达到的能力，就像它已经训练了丰富的真实数据。验证了噪声形成模型的有效性。
使用迁移学习的方法将仿真噪声数据集训练的去噪模型迁移到真实噪声数据集的去噪模型上，提升去噪模型的泛化能力
[19].Transfer Learning From Synthetic to Real-Noise Denoising With Adaptive Instance Normalization
作者 | Yoonsik Kim, Jae Woong Soh, Gu Yong Park, Nam Ik Ch
单位 | 首尔大学
论文 | paper
代码 | https://github.com/terryoo/AINDNet
摘要 |
由于真实噪声的统计量不服从正态分布，而且在时间和空间上都是变化的，因此去噪是一项具有挑战性的任务。为了应对各种复杂的实噪声，我们提出了一个很好的广义去噪结构和一个转移学习方案。具体来说，我们采用一种自适应实例归一化的方法来构建去噪算法，它可以使特征映射规范化，防止网络对训练集过拟合。我们还引入了一种转移学习方案，将从合成噪声数据中学习到的知识转移到实噪声去噪算法中。通过所提出的迁移学习，合成噪声去噪可以从各种合成噪声数据中学习一般特征，实噪声去噪可以从真实数据中学习实噪声特征。实验结果表明，本文提出的去噪方法具有较强的泛化能力，使我们的网络在达姆施塔特噪声数据集(DND)上的性能在已发表论文的方法中是最好的。我们还可以看到，所提出的传输学习方案，通过学习非常少的标记数据的真实噪声图像。
内存高效的NAS + 图像去噪
[20].Memory-Efficient Hierarchical Neural Architecture Search for Image Denoising
作者 | Haokui Zhang, Ying Li, Hao Chen, Chunhua Shen
单位 | 西北工业大学；阿德莱德大学
摘要 |
近年来，神经架构搜索(NAS)方法受到了广泛的关注，在一些高级视觉任务上的表现优于人工设计的架构。在本文中，我们提出了HiNAS(层次化NAS)，这是一种利用NAS自动设计有效神经网络结构用于图像去噪的努力。HINAS采用基于梯度的搜索策略，采用接受域自适应的操作，构建灵活的层次搜索空间。在搜索阶段，HiNAS跨不同的特性级别共享单元以节省内存，并采用早期停止策略以避免NAS中的崩溃问题，并大大加快了搜索速度。提出的HiNAS在内存和计算方面都很高效，使用单一GPU只需要大约4.5小时的搜索时间。我们在两个不同的数据集上评估了我们提出的HiNAS的有效性。即加性高斯白噪声数据集BSD500，和现实噪声数据集etsim1800。实验结果表明，HiNAS发现的体系结构具有更少的参数和更快的推理速度，同时与现有的方法相比实现了极具竞争力的性能。我们还对NAS发现的结构进行了分析。HiNAS在图像降水实验中也表现出了良好的性能。
[21].Basis Prediction Networks for Effective Burst Denoising With Large Kernels
作者 | Zhihao Xia, Federico Perazzi, Michael Gharbi, Kalyan Sunkavalli, Ayan Chakrabarti
单位 | 华盛顿大学（圣路易斯）；Adobe Research
主页 | https://www.cse.wustl.edu/~zhihao.xia/bpn/
代码 | 即将
摘要 |
图像的爆发在时间和空间上都表现出显著的自相似性。这使得内核的表示成为一组小的基元素的线性组合。为此，我们引入了一种新的基预测网络，给定一个输入脉冲，它可以预测一组全局基核——在图像中共享——以及相应的混合系数——这是特定于单个像素的。与目前每像素输出大量时空核张量的技术相比，我们的公式大大降低了网络输出的维数。这允许我们有效地利用相对较大的去噪内核，实现了显著的质量改进(超过1dB的PSNR)和在最先进的方法上更快的运行时间。
图像去摩尔纹（Image Demoireing
摩尔纹是相机拍摄电子屏幕时出现的条纹，该文提出一种可学习的带通滤波器实现去摩尔纹，Keras+TensorFlow实现
[22].Image Demoireing with Learnable Bandpass Filters
作者 | Bolun Zheng, Shanxin Yuan, Gregory Slabaugh, Ales Leonardis
单位 | 杭州电子科技大学；华为诺亚方舟实验室
代码 | https://github.com/zhenngbolun/Learnbale_Bandpass_Filter
摘要 |
图像演示是一项涉及纹理和颜色恢复的多面图像恢复任务。在本文中，我们提出了一种新的多尺度带通卷积神经网络(MBCNN)来解决这个问题。MBCNN作为一个端到端的解决方案，分别解决了两个子问题。对于纹理恢复，我们提出了一个学习带通滤波器(LBF)来学习莫尔纹理去除的频率先验。对于颜色恢复，我们提出了两步色调映射策略，首先应用全局色调映射来校正全局色移，然后对每个像素的颜色进行局部微调。通过消融研究，我们证明了MBCNN不同组成部分的有效性。在两个公共数据集上的实验结果表明，我们的方法大大优于最新的方法(在PSNR方面超过2dB)。