飞桨论文复现之《LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS》
课程地址:https://aistudio.baidu.com/aistudio/education/group/info/1340
这篇论文其实可以算是GAN的入门论文,把GAN实验重演了一遍。
效果
要点
主要描述为了增强Gan生成图与真实图片的三个方向:
- GAN的规模
- “裁剪技巧”
- 牺牲一定程度的稳定性
论文结论
通过训练2到4倍的参数和8倍的批量大小(batch_size)的模型来与当时的普通模型进行了比较,证明了GAN可以从batch_size和参数的放大中显着受益。
具体方式是采用了两个简单/通用的构架结构,可以通过修改来达到可伸缩性,并使用正则化方案,最终明显提高了性能。
可以看到,8倍的batch_size,明显提高了性能。batch_size从256提高8倍到2048,IS评价指标(inception score)从52.52提高到76.85。batch_size为2048时,channel数(平方正比于参数量)从64提高到96时,IS从76.85提升到92.98 。
在后面使用了一些其它诸如Shared/Skip-z/Ortho等技术措施后,IS最高提高到了99.31 。当然因为这篇论文是2019年的,且前面提到的都是比较常规的调参方法,所以性能提升有限,最高结果依然离人类实际图片的IS评价233分相差很远。
针对生成器的不稳定性,作者也进行了全面的解析和实验。
最终结论:加大模型规模可以提升模型效果
不同分辨率下模型结果评估
可以看到将训练集的尺寸从128提高到256,IS从98.8提高到144,还是相当可观的。