论文总结 | Inpainting_综合

论文总结 | Inpainting

CVPR2019

Paper	Kernel
Pluralistic Image Completion [paper][code]	Solution: 在图像合成任务中，生成 multiple and diverse plausible 结果。解决了当前图像合成任务中对于每一个输入，只产生一个结果的问题。 two parallel pipelines网络 Contribution: 1. Two parallel network structure. 一条是重建路径，利用给定的GT来得到缺失部分的先验，并从该分布中重建原始图像；一条是生成路径，条件先验（以可见像素为条件的缺失区域的潜在先验分布）与重构路径中的分布耦合在一起。 2. Short+Long term attention. short-term学习intra-layer （层内）attention feature，long-term 学习inter-layer（层间） attention feature。
Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting [paper][code]	Solution: 用于高质量的图像修复，用可信的内容填充受损图像中的缺失区域。解决了现有方法要么通过复制图像块来填补缺失区域，要么从区域上下文生成语义连贯的块，使视觉和语义可信性差的问题。 Contribution: 1. Cross-layer attention transfer. 提出了一种新的网络，ATN，从高级特征映射(如编码中的压缩潜在特征)中学习区域亲和力。所得到的亲和映射可以指导编码器中相邻低层的特征传输。 2.Pyramid filling.可以通过重复使用从深到潜的ATNs来填充多个holes(取决于编码器的深度)，恢复具有更细粒度细节的图像。

Paper

Kernel

Pluralistic Image Completion
[paper][code]

Solution: 在图像合成任务中，生成 multiple and diverse plausible 结果。解决了当前图像合成任务中对于每一个输入，只产生一个结果的问题。
two parallel pipelines网络
Contribution:
1. Two parallel network structure. 一条是重建路径，利用给定的GT来得到缺失部分的先验，并从该分布中重建原始图像；一条是生成路径，条件先验（以可见像素为条件的缺失区域的潜在先验分布）与重构路径中的分布耦合在一起。
2. Short+Long term attention. short-term学习intra-layer （层内）attention feature，long-term 学习inter-layer（层间） attention feature。

Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting
[paper][code]

Solution: 用于高质量的图像修复，用可信的内容填充受损图像中的缺失区域。解决了现有方法要么通过复制图像块来填补缺失区域，要么从区域上下文生成语义连贯的块，使视觉和语义可信性差的问题。
Contribution:
1. Cross-layer attention transfer. 提出了一种新的网络，ATN，从高级特征映射(如编码中的压缩潜在特征)中学习区域亲和力。所得到的亲和映射可以指导编码器中相邻低层的特征传输。
2.Pyramid filling.可以通过重复使用从深到潜的ATNs来填充多个holes(取决于编码器的深度)，恢复具有更细粒度细节的图像。

ICCV2019

Paper	Kernel
Coherent Semantic Attention for Image Inpainting [paper][code]	Solution: the discontinuity of the local pixels。即以往的图像修复，往往没有考虑像素之间的连续性，映射到语义上来说就是没有考虑特征的连续性，从而导致色彩的断层或者线条的断层。 Coarse to fine的网络 Contribution: 1. Coherent semantic attention ，Search and Generate 对hole中每个点找到最相关的上下文区域并替换，直至所有hole区域被上下文填满。然后进行生成，采用光标扫描的方式从上至下从左至右进行， mn会包含mn-m1的信息，并且随着距离的增长，补丁之间的关系会越弱。 2. Consistency loss ，用VGG提取原图的特征空间，并将这个特征空间作为CSA层和其对应的解码器层的标签并计算L2距离。
StructureFlow: Image Inpainting via Structure-aware Appearance Flow [paper][code]	Solution: 长程相关性无法有效表示、边缘信息无法有效携带纹理。怎样生成正确完整的结构和视觉效果较为真实的细粒度细节纹理。 Coarse to fine网络(结构重建和纹理生成网络) Contribution: 1. Structure reconstructor，用于生成边缘保留的平滑图像作为全局结构信息。 2.Appearance flow，从具有相似结构的区域中采样特征。使用高斯采样代替双线性采样，扩展采样操作的接收范围。并引入新的采样正确性损失，确定是否对正确的区域进行了采样。
Progressive Reconstruction of Visual Structure for Image Inpainting [paper][code]	Solution: 在带有小孔的图像上效果很好，但恢复大孔仍然很困难。 End to end 网络(但需要输入structure edge) Contribution: 1. Partial Convolution 在前馈过程中跟踪mask的形状，从而能逐步重建视觉结构。 2. Visual Structure Reconstruction Layer，由structure generator 和 feature generator 构成。输入的edge通过structure generator缩小缺失区域的大小，再将更新的edge用于指导新特征的生成。
Image Inpainting with Learnable Bidirectional Attention Maps [paper][code]	Solution: 针对部分卷积存在的问题: re-normalization 不是自动学习的，mask-updating 只考虑前向传播。 End to end 网络 Contribution: 1. Learnable Attention Maps，PConv 只考虑更新 mask 中大于0的部分，而LAM是将更高的置信度赋给具有更高的Mask的区域。 2. Learnable Bidirectional Attention Maps，PConv 只考虑了 encoder 的部分卷积，而没有考虑 decoder，本文提出了逆向可学习注意力图模型，形成双向。attenttion map的正向更新的mask应用于下一个encoder layer，而attenttion map的反向更新的mask应用于前一个decoder layer。
Free-Form Image Inpainting with Gated Convolution [paper][code]	Solution: 解决了普通卷积将所有的像素视为有效像素的问题。通过为所有层中的每个空间位置的每个通道提供一个可学习的动态特征选择机制来泛化部分卷积。 Coarse to fine 网络 Contribution: 1. Gated convolution ，为所有层每一个维度的位置提供了一种可学习的，动态的特征选择机制。 2. SN-PatchGAN ，稳定GAN的训练。

论文总结 | Inpainting