文章链接:https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhang_Image_Super-Resolution_by_Neural_Texture_Transfer_CVPR_2019_paper.pdf
项目地址:https://github.com/ZZUTK/SRNTT
摘要
受到图像风格迁移的启发,本文将RefSR问题重新定义为自然纹理迁移的问题。
本文的主要贡献是在自然空间中的多级匹配。使得模型可以从语义相关的参考图像块中获得更多的信息。
并且提出了基准数据集,基准数据集中含有与LR图像相似程度不同的参考图像。
1. Introduction
近年来,感知损失和对抗损失带来了视觉上的提升,但是这些方法容易产生虚假的纹理和伪像。
RefSR通过使用参考图像中的丰富细节来补偿LR图像中的细节丢失。
【8, 3, 7, 33, 39, 34, 27, 41】这些都是RefSR的方法,但是这些方法假设参考图像与LR具有相似的内容,并且对齐,否则这些方法会比SISR方法的结果更差。
但是,在我们的方法中,不需要参考图像与LR对齐或者有相似的内容,我们只迁移相对应的语义信息。
理想状态下,RefSR的方法应该在有较好的ref图像的情况下比SISR效果更好,而在没有ref图像或者ref图像与lr图像不相关的情况下产生与SISR相当的结果。