PyTorch中文教程 | (16) DCGAN_综合

Github地址

1. 介绍

2. 对抗生成网络

2. 变量

3. 数据

4. 实现方法

4. 结果

1. 介绍

本教程将通过一个例子来介绍DCGAN。我们将使用很多真正的名人照片训练一个生成对抗网络（GAN）后，生成新的假名人照片。这里的大多数代码来自于pytorch/examples中对DCGAN的实现，并且本文档将对DCGAN的实现进行全面解释，并阐明该模型是怎样工作的以及为什么能工作。但是不要担心，我们并不需要你事先了解GAN，但是可能需要先花一些时间来弄明白实际发生了什么。此外，拥有一两个GPU将对节省运行时间很有帮助。让我们从头开始吧。

2. 对抗生成网络

什么是对抗生成网络(GAN)?

对抗生成网络（GAN）是一个教深度模型获取训练数据分布的一种框架，因此我们能够使用类似的分布来生成新的数据。对抗生成网络是Ian Goodfellow在2014年发明的，并首次发表在文章 Generative Adversarial Nets中。它们由两种不同的模块组成，一个生成器 generator 以及一个判别器 discriminator 。生成器的工作是产生看起来像训练图像的“假”图像。判别器的工作是查看图像并输出它是否是来自真实训练图像或生成器的伪图像。在训练期间，生成器不断尝试通过产生越来越好的假图片来超越判别器，与此同时判别器逐渐更好的检测并正确分类真假图片。这个过程最后逐渐的变得平衡，生成器生成完美的假图片，这些假图片看起来好像它们直接来自训练数据，并且判别器总是猜测生成器输出的图片真假都是50%。

现在，我们先定义一些整个教程中要使用的符号，首先从判别器开始。 x表示图像数据。 D(x)表示判别网络，它的输出表示数据 x来自于训练数据而不是生成数据的概率。这里D(x)的输入图像是大小为3x64x64。直观地说，当x 来自训练数据时，D(x)的值应当是大的；而当x来自生成器时，D(x) 的值应为小的。 D(x)也可以被认为是传统的二元分类器。

对于生成器,z表示从标准正态分布中采样的空间矢量（本征向量）。 G(z)表示将本征向量 z映射到数据空间的生成器函数。 G的目标是估计训练数据的分布，这样就可以从估计的分布(Pg) 中生成假样本。

因此，D(G(z)) 表示生成器G输出是真实图片(来自训练机)的概率。就像在 Goodfellow’s paper中描述的那样， D和G在玩一个极大极小游戏。在这个游戏中 D试图最大化正确分类真假图片的概率log(D(x)) ， G试图最小化D预测其输出为假图片的概率log(1-D(G(x))）。文章中GAN的损失函数是:

理论上，这个极小极大游戏的目标是 pg=pdata，如果输入是真实的或假的，则判别器会随机猜测。然而，GAN的收敛理论仍在积极研究中，实际上模型并不总是训练到这一点。

什么是DCGAN？

DCGAN是对上面描述的GAN的直接扩展，除了它分别在判别器和生成器中明确地使用卷积和卷积转置层。 DCGAN是在Radford等的文章Unsupervised Representation Learning With Deep Convolutional Generative Adversarial Networks中首次被提出的。判别器由卷积层、批标准化层以及LeakyReLU 激活层组成。输入是3x64x64的图像，输出是输入图像来自实际数据的概率。生成器由转置卷积层（反卷积），批标准化层以及ReLU 激活层组成。输入是一个本征向量（latent vector） z，它是从标准正态分布中采样得到的，输出是一个3x64x64 的RGB图像。转置卷积层能够把本征向量转换成和图像具有相同大小。在本文中，作者还提供了一些有关如何设置优化器，如何计算损失函数以及如何初始化模型权重的建议，所有这些都将在后面的章节中进行说明。

from __future__ import print_function
#%matplotlib inline
import argparse
import os
import random
import torch
import torch.nn as nn
import torch.nn.parallel
import torch.backends.cudnn as cudnn
import torch.optim as optim
import torch.utils.data
import torchvision.datasets as dset
import torchvision.transforms as transforms
import torchvision.utils as vutils
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.animation as animation
from IPython.display import HTML# 为了可重复性设置随机种子
manualSeed = 999
#manualSeed = random.randint(1, 10000) # 如果你想有一个不同的结果使用这行代码
print("Random Seed: ", manualSeed)
random.seed(manualSeed)
torch.manual_seed(manualSeed)

2. 变量

为了能够运行，定义一些配置变量：

# 数据集根目录
dataroot = "data/celeba"# 数据加载器能够使用的进程数量
workers = 2# 训练时的批大小
batch_size = 128# 训练图片的大小，所有的图片给都将改变到该大小
# 转换器使用的大小.
image_size = 64# 训练图片的通道数，彩色图片是3
nc = 3# 本征向量z的大小(生成器的输入大小)
nz = 100# 生成器中特征图大小
ngf = 64# 判别器中特征图大小
ndf = 64# 训练次数
num_epochs = 5# 优化器学习率
lr = 0.0002# Adam优化器的Beta1超参
beta1 = 0.5# 可利用的GPU数量，使用0将运行在CPU模式。
ngpu = 1

3. 数据

本教程中我将使用 Celeb-A Faces 数据集可以在链接中下载，或者在谷歌网盘中下载。下载该数据集将产生一个名为 img_align_celeba.zip 的文件。下载完成后，创建一个名为 celeba的文件夹解压下载的数据集到该目录下。然后，在本笔记中设置 dataroot 到你刚才创建的文件夹 celeba 。最后得到的文件夹结构如下：

/path/to/celeba-> img_align_celeba-> 188242.jpg-> 173822.jpg-> 284702.jpg-> 537394.jpg...

这是一个很重要的步骤，因为我们将使用ImageFolder数据集类需要使用在数据集根目录下的子文件夹。现在，我们能够创建这个数据集，创建数据加载器以及设置在哪运行，最后可视化一些训练数据。

# 我们能够使用我们创建的数据集图片文件夹了
# 创建数据集
dataset = dset.ImageFolder(root=dataroot,transform=transforms.Compose([transforms.Resize(image_size),transforms.CenterCrop(image_size),transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)),]))
# 创建数据加载器
dataloader = torch.utils.data.DataLoader(dataset, batch_size=batch_size,shuffle=True, num_workers=workers)# 决定我们在哪个设备上运行
device = torch.device("cuda:0" if (torch.cuda.is_available() and ngpu > 0) else "cpu")# 展示一些训练图片
real_batch = next(iter(dataloader))
plt.figure(figsize=(8,8))
plt.axis("off")
plt.title("Training Images")
plt.imshow(np.transpose(vutils.make_grid(real_batch[0].to(device)[:64], padding=2, normalize=True).cpu(),(1,2,0)))

4. 实现方法

随着我们配置变量的设置以及数据集的准备，我们将开始详细的介绍权重初始化策略、生成器、判别器、损失函数以及训练过程。

权重初始化

在DCGAN论文中，作者指出所有模型权重应从均值为0方差为0.2的正态分布随机初始化。 weights_init函数将未初始化模型作为输入，并初始化所有卷积，卷积转置和批标准化层以满足此标准。初始化后立即将此功能应用于模型。

# 在netG和netD上调用的自定义权重初始化函数
def weights_init(m):classname = m.__class__.__name__if classname.find('Conv') != -1:nn.init.normal_(m.weight.data, 0.0, 0.02)elif classname.find('BatchNorm') != -1:nn.init.normal_(m.weight.data, 1.0, 0.02)nn.init.constant_(m.bias.data, 0)

生成器

生成器 G 用于将本征向量 z 映射到数据空间。由于我们的数据是图像，因此将 z 转换为数据空间意味着最终创建一个与训练图像大小相同的RGB图像（即3x64x64）。实际上，这是通过一系列跨步的二维卷积转置层实现的，每个转换层与二维批标准化层和relu激活层配对。生成器的输出通过tanh层，使其输出数据范围和输入图片一样，在 [?1,1] 之间。值得注意的是在转换层之后存在批标准化函数，因为这是DCGAN论文的关键贡献。这些层有助于训练期间的梯度传播。 DCGAN论文中的生成器图片如下所示。

请注意，我们在变量定义部分 (nz, ngf 和 nc) 中设置的输入如何影响代码中的生成器体系结构。 nz 是z输入向量的长度，ngf 生成器要生成的特征图个数大小，nc 是输出图像中的通道数（对于RGB图像，设置为3）。下面是生成器的代码。

# 生成器代码class Generator(nn.Module):def __init__(self, ngpu):super(Generator, self).__init__()self.ngpu = ngpuself.main = nn.Sequential(# 输入是 Z, 对Z进行反卷积nn.ConvTranspose2d( nz, ngf * 8, 4, 1, 0, bias=False),nn.BatchNorm2d(ngf * 8),nn.ReLU(True),# 输入特征图大小. (ngf*8) x 4 x 4nn.ConvTranspose2d(ngf * 8, ngf * 4, 4, 2, 1, bias=False),nn.BatchNorm2d(ngf * 4),nn.ReLU(True),# 输入特征图大小. (ngf*4) x 8 x 8nn.ConvTranspose2d( ngf * 4, ngf * 2, 4, 2, 1, bias=False),nn.BatchNorm2d(ngf * 2),nn.ReLU(True),# 输入特征图大小. (ngf*2) x 16 x 16nn.ConvTranspose2d( ngf * 2, ngf, 4, 2, 1, bias=False),nn.BatchNorm2d(ngf),nn.ReLU(True),# 输入特征图大小. (ngf) x 32 x 32    （32*4/2=64）nn.ConvTranspose2d( ngf, nc, 4, 2, 1, bias=False),nn.Tanh()# 输出特征图大小. (nc) x 64 x 64)def forward(self, input):return self.main(input)

现在，我们可以实例化生成器并对其使用 weights_init 函数。打印出生成器模型，用以查看生成器的结构。

# 创建生成器
netG = Generator(ngpu).to(device)# 如果期望使用多个GPU，设置一下。
if (device.type == 'cuda') and (ngpu > 1):netG = nn.DataParallel(netG, list(range(ngpu)))# 使用权重初始化函数 weights_init 去随机初始化所有权重
#  mean=0, stdev=0.2.
netG.apply(weights_init)# 输出该模型
print(netG)

Generator((main): Sequential((0): ConvTranspose2d(100, 512, kernel_size=(4, 4), stride=(1, 1), bias=False)(1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU(inplace)(3): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)(4): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(5): ReLU(inplace)(6): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)(7): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(8): ReLU(inplace)(9): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)(10): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(11): ReLU(inplace)(12): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)(13): Tanh())
)

判别器

如上所述，判别器 D 是一个二分类网络，它将图像作为输入并输出输入图像是真实的概率（而不是假的）。这里，D 采用3x64x64输入图像，通过一系列Conv2d，BatchNorm2d和LeakyReLU层处理它，并通过Sigmoid激活函数输出最终概率。如果问题需要，可以使用更多层扩展此体系结构，但使用跨步卷积，BatchNorm和LeakyReLU具有重要意义。 DCGAN论文提到使用跨步卷积而不是使用pooling下采样是一种很好的做法，因为它可以让网络学习自己的pooling功能。批标准化和LeakyReLU函数也促进了健康的梯度流动，这对于 G 和 D 的学习过程至关重要。

判别器代码：

class Discriminator(nn.Module):def __init__(self, ngpu):super(Discriminator, self).__init__()self.ngpu = ngpuself.main = nn.Sequential(# 输入大小 (nc) x 64 x 64nn.Conv2d(nc, ndf, 4, 2, 1, bias=False),nn.LeakyReLU(0.2, inplace=True),# state size. (ndf) x 32 x 32nn.Conv2d(ndf, ndf * 2, 4, 2, 1, bias=False),nn.BatchNorm2d(ndf * 2),nn.LeakyReLU(0.2, inplace=True),# 输入大小. (ndf*2) x 16 x 16nn.Conv2d(ndf * 2, ndf * 4, 4, 2, 1, bias=False),nn.BatchNorm2d(ndf * 4),nn.LeakyReLU(0.2, inplace=True),# 输入大小. (ndf*4) x 8 x 8nn.Conv2d(ndf * 4, ndf * 8, 4, 2, 1, bias=False),nn.BatchNorm2d(ndf * 8),nn.LeakyReLU(0.2, inplace=True),# 输入大小. (ndf*8) x 4 x 4nn.Conv2d(ndf * 8, 1, 4, 1, 0, bias=False),nn.Sigmoid() # 1 )def forward(self, input):return self.main(input)

现在，我们可以实例化判别器并对其应用weights_init函数。查看打印的模型以查看判别器对象的结构。

# 创建判别器
netD = Discriminator(ngpu).to(device)# 如果期望使用多GPU，设置一下
if (device.type == 'cuda') and (ngpu > 1):netD = nn.DataParallel(netD, list(range(ngpu)))# 使用权重初始化函数 weights_init 去随机初始化所有权重
#  mean=0, stdev=0.2.
netD.apply(weights_init)# 输出该模型
print(netD)

Discriminator((main): Sequential((0): Conv2d(3, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)(1): LeakyReLU(negative_slope=0.2, inplace)(2): Conv2d(64, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)(3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(4): LeakyReLU(negative_slope=0.2, inplace)(5): Conv2d(128, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)(6): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(7): LeakyReLU(negative_slope=0.2, inplace)(8): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)(9): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(10): LeakyReLU(negative_slope=0.2, inplace)(11): Conv2d(512, 1, kernel_size=(4, 4), stride=(1, 1), bias=False)(12): Sigmoid())
)

损失函数和优化器

随着对判别器 D 和生成器 G 完成了设置，我们能够详细的叙述它们怎么通过损失函数和优化器来进行学习的。我们将使用Binary Cross Entropy loss (BCELoss) 函数，其在pyTorch中的定义如下：

需要注意的是目标函数中两个log部分是怎么提供计算的(i.e. log(D(x)) and log(1?D(G(z))) 。即将介绍的训练循环中我们将详细的介绍BCE公式的怎么使用输入 y的。但重要的是要了解我们如何通过改变 y（即GT标签）来选择我们想要计算的部分损失。

下一步，我们定义真实图片标记为1，假图片标记为0。这个标记将在计算 D 和 G 的损失函数的时候使用，这是在原始的GAN文献中使用的惯例。最后我们设置两个单独的优化器，一个给判别器 D 使用，一个给生成器 G 使用。就像DCGAN文章中说的那样，两个Adam优化算法都是用学习率为0.0002以及Beta1参数为0.5。为了保存追踪生成器学习的过程，我们将生成一个批固定不变的来自于高斯分布的本征向量(例如 fixed_noise)。在训练的循环中，我们将周期性的输入这个fixed_noise到生成器 G 中，在训练都完成后我们将看一下由fixed_noise生成的图片。

# 初始化 BCE损失函数
criterion = nn.BCELoss()# 创建一个批次的本征向量用于可视化生成器训练的过程。
fixed_noise = torch.randn(64, nz, 1, 1, device=device)  #64个 （100，1，1） 100可以看作是通道数 1是特征图大小# 建立一个在训练中使用的真实和假的标记
real_label = 1
fake_label = 0# 为G和D都设置Adam优化器
optimizerD = optim.Adam(netD.parameters(), lr=lr, betas=(beta1, 0.999))
optimizerG = optim.Adam(netG.parameters(), lr=lr, betas=(beta1, 0.999))

训练

最后，既然已经定义了GAN框架的所有部分，我们就可以对其进行训练。请注意，训练GAN在某种程度上是一种艺术形式，因为不正确的超参数设置会导致mode collapse，而对错误的解释很少。在这里，我们将密切关注Goodfellow的论文中的算法1，同时遵守ganhacks中显示的一些最佳实践。也就是说，我们将“为真实和假冒”图像构建不同的小批量，并调整G的目标函数以最大化logD(G(z))。训练分为两个主要部分。第1部分更新判别器Discriminator，第2部分更新生成器Generator。

Part 1 - 训练判别器：

回想一下，训练判别器的目的是最大化将给定输入正确分类为真实或假的概率。就Goodfellow而言，我们希望“通过提升其随机梯度来更新判别器”。实际上，我们想要最大化损失log(D(x))+log(1?D(G(z)))。由于ganhacks的单独小批量建议，我们将分两步计算。首先，我们将从训练集中构造一批实际样本，向前通过 D，计算损失（log(D(x))），然后计算梯度向后传递。其次，我们将用当前的生成器构造一批假样本，通过D转发该批次，计算损失（log(1?D(G(z)))）和 accumulate 带有向后传递。现在，随着从全真实和全假批量累积的梯度，我们称之为Discriminator优化器的一步。

Part 2 - 训练生成器：

正如原始论文所述，我们希望通过最小化 log(1?D(G(z))) 来训练生成器Generator，以便产生更好的假样本。如上所述，Goodfellow表明这不会提供足够的梯度，尤其是在学习过程的早期阶段。作为修改，我们希望最大化 log(D(G(z)))。在代码中，我们通过以下方式实现此目的：使用 Discriminator 对第1部分的 Generator 输出进行分类，使用真实标签作为 GT计算G的损失，在反向传递中计算G的梯度，最后使用优化器步骤更新G的参数。使用真实标签作为损失函数的GT标签似乎是违反直觉的，但这允许我们使用BCELoss的 log(x) 部分（而不是 log(1?x) 这部分）这正是我们想要的。

最后，我们将进行一些统计报告，在每个循环结束时，我们将通过生成器推送我们的fixed_noise批次，以直观地跟踪G训练的进度。报告的训练统计数据是：

Note: 此步骤可能需要一段时间，具体取决于您运行的循环数以及是否从数据集中删除了一些数据。

# 训练循环# 保存跟踪进度的列表
img_list = []
G_losses = []
D_losses = []
iters = 0print("Starting Training Loop...")
# 每个epoh
for epoch in range(num_epochs):# 数据加载器中的每个批次for i, data in enumerate(dataloader, 0):############################# (1) 更新 D 网络: 最大化 log(D(x)) + log(1 - D(G(z)))############################# 使用所有真实样本批次训练netD.zero_grad()# 格式化批real_cpu = data[0].to(device)b_size = real_cpu.size(0)label = torch.full((b_size,), real_label, device=device) #添加标签 真实样本 1# 通过D向前传递真实批次output = netD(real_cpu).view(-1) # 对所有真实样本批次计算损失errD_real = criterion(output, label)# 计算后向传递中D的梯度errD_real.backward()D_x = output.mean().item()## 使用所有假样本批次训练# 生成本征向量批次noise = torch.randn(b_size, nz, 1, 1, device=device) #b_size个 nz*1*1# 使用生成器G生成假图片fake = netG(noise)label.fill_(fake_label) #填充为0# 使用判别器分类所有的假批次样本output = netD(fake.detach()).view(-1)# 计算判别器D的损失对所有的假样本批次errD_fake = criterion(output, label)# 对这个批次计算梯度errD_fake.backward()D_G_z1 = output.mean().item()# 把所有真样本和假样本批次的梯度加起来errD = errD_real + errD_fake# 更新判别器DoptimizerD.step()############################# (2) 更新 G 网络: 最大化 log(D(G(z)))###########################netG.zero_grad()label.fill_(real_label)  # 假样本的标签对于生成器样本是真的# 因为我们之更新了D，通过D执行所有假样本批次的正向传递output = netD(fake).view(-1)# 基于这个输出计算G的损失errG = criterion(output, label)# 为生成器计算梯度errG.backward()D_G_z2 = output.mean().item()# 更新生成器GoptimizerG.step()# 输出训练状态if i % 50 == 0:print('[%d/%d][%d/%d]\tLoss_D: %.4f\tLoss_G: %.4f\tD(x): %.4f\tD(G(z)): %.4f / %.4f'% (epoch, num_epochs, i, len(dataloader),errD.item(), errG.item(), D_x, D_G_z1, D_G_z2))# 为以后画损失图，保存损失G_losses.append(errG.item())D_losses.append(errD.item())# 检查生成器generator做了什么，通过保存的fixed_noise通过G的输出if (iters % 500 == 0) or ((epoch == num_epochs-1) and (i == len(dataloader)-1)):with torch.no_grad():fake = netG(fixed_noise).detach().cpu()img_list.append(vutils.make_grid(fake, padding=2, normalize=True))iters += 1

4. 结果

最后，让我们看看我们做的怎么样。在这里，我们将看看三个不同的结果。首先，我们将看到判别器D和生成器G的损失在训练期间是如何变化的。其次，我们将在每个批次可视化生成器G的输出。第三，我们将查看一批实际数据以及来自生成器G一批假数据。

损失与训练迭代次数关系图：

下面将绘制生成器和判别器的损失和训练迭代次数关系图。

plt.figure(figsize=(10,5))
plt.title("Generator and Discriminator Loss During Training")
plt.plot(G_losses,label="G")
plt.plot(D_losses,label="D")
plt.xlabel("iterations")
plt.ylabel("Loss")
plt.legend()
plt.show()

生成器G的训练进度：

我们在每一个批次训练完成之后都保存了生成器的输出。现在我们可以通过动画可视化生成器G的训练进度。点击播放按钮开始动画.

#%%capture
fig = plt.figure(figsize=(8,8))
plt.axis("off")
ims = [[plt.imshow(np.transpose(i,(1,2,0)), animated=True)] for i in img_list]
ani = animation.ArtistAnimation(fig, ims, interval=1000, repeat_delay=1000, blit=True)HTML(ani.to_jshtml())

真实图像 vs. 假图像

最后，让我们一起看看一些真实的图像和假图像。

# 从数据加载器中获取一批真实图像
real_batch = next(iter(dataloader))# 画出真实图像
plt.figure(figsize=(15,15))
plt.subplot(1,2,1)
plt.axis("off")
plt.title("Real Images")
plt.imshow(np.transpose(vutils.make_grid(real_batch[0].to(device)[:64], padding=5, normalize=True).cpu(),(1,2,0)))# 画出来自最后一次训练的假图像
plt.subplot(1,2,2)
plt.axis("off")
plt.title("Fake Images")
plt.imshow(np.transpose(img_list[-1],(1,2,0)))
plt.show()

下一步计划：

我们已经到了教程的最后，但是你可以根据此教程研究以下内容：

训练更长的时间看看能够达到多好的结果
调整此模型以适合不同的数据集，如果可能你可以更改输入图片大小以及模型的架构
看看这里其他一些很酷的GAN项目
创建一个能够产生音乐的GAN模型