Retinal Vessel Segmentation in Fundoscopic Images with Genetative Adversarial Networks

Retinal Vessel Segmentation in Fundoscopic Images with Genetative Adversarial Networks
利用GAN分割眼底图像的视网膜血管
作者：Jaemin Son, Sang Jun Park, and Kyu-Hwan Jung
机构：Department of Ophthalmology, Seoul National University College of Medicine, Seoul National University Bundang Hospital, Seongnam, Korea

摘要

视网膜血管分割是自动检测视网膜疾病必不可少的步骤。已存的方法可能会漏掉细血管，以及血管末端分支处的假阳性。分割不够，或过分割会导致很难测量血管精确的宽度。本文提出利用生成对抗训练产生精确的视网膜血管图。

简介

早些时候，计算机视觉算法解决血管分割主要是从信号处理的角度出发，它假设血管遵循特定的模式。典型的例子是启发式技术，比如线条检测、手工特征提取。随着机器学习的兴起，利用机器学习自动学习特征获得了更好的结果。例如，Becker等人使用梯度增强提取特征，Orlando等人提出引入完全连通的条件随机场（CRF），其参数是通过结构化支持向量机（SVM）从数据中训练出来的。

最近这些年，CNNs在各种计算机视觉任务中展示了出色的表现。在视网膜血管分割中也提高了性能，甚至多个数据库上超过了专家的能力。但是，利用这些方法分割后的血管相当模糊，并且在细小血管分支存在假阳性。这主要是现存方法CNNs中用到的目标函数只依靠像素级目标函数，该函数只比较金标准与模型生成的图片。这是不可取的，因为它不能主动适应存在于眼底图像中的天然血管结构。

实际上，血管分割可以被认为是图像转换任务，输出的血管分割图是由输入的眼底图生成的。 如果输出被约束为类似于人类专家的标注，则可以获得更清晰的血管图。 GANs是一个可以创建与金标准一样真实的输出框架。 GAN由两个网络组成，鉴别器和生成器。 当鉴别器试图将金标准图像与生成器产生的输出区分开时，生成器尽量产生真实的输出，导致鉴别器不能区分金标准与生成的图像。

提出的方法

网络结构
在GANs的设置中，输入眼底图到生成器中，输出同样大小的血管的概率图。概率图中的值从0到1，表示该像素是否为血管像素。将眼底图和血管图输入到辨别器中，分辨血管图是生成器生成的还是金标准。总体框架如下：

对于生成器，遵循U-Net从瓶颈层上采样层，U-Net的初始卷积特征图被跳过连接(skip-connected)，这种跳过连接对于分割任务至关重要，因为初始特征映射保持了低级特征，例如可以被正确利用以进行精确分割的边缘和斑点。

对于判别器，利用了不同的输出大小的模型，像素级(PixelGAN)、图片级(Image GAN)、块级(Patch GAN)。

目标函数
生成器G是眼底图x到血管图y的映射，G：x→y。判别器D将一对{x，y}映射到二元分类$(0,1{)}^N$，其中0和1表示y是机器生成的或人工标注的，N是决策的数量。对于Image GAN,N=1,对于Pixel GAN,一张大小为W×H图片,N=W×H。

GAN对于分割问题的目标函数如下：

注意G接受图像的输入，因此，类似于条件GAN，但G中没有涉及随机性。然后，GAN框架解决了优化问题：

为了训练判别器D以做出正确的判断，D(x，y)需要最大化，而D(x,G(x))应该最小化。 另一方面，生成器应该通过产生对于真实数据不可分辨的输出来防止判别器做出正确的判断。 由于最终目标是从生成器获得实际输出，因此目标函数被定义为目标的极小极大值。

实际上，分割任务还可以通过添加损失函数来利用金标准图像，这些函数会惩罚金标准与输出之间的距离，例如二元交叉熵：

将GAN目标函数损失和分割损失相加，我们可以将目标函数表示为：
λ平衡两个目标函数。

结论

本文将GANs框架引入视网膜血管分割，实验结果表明，判别器的存在可以帮助更准确和清晰地分割血管。 此外，我们的方法在ROC AUC，PR AUC和骰子系数方面优于其他现有方法。 与现有的最佳方法相比，我们的方法细血管包含更少的假阳性，并且描绘出具有足够细节的更清晰的线条，就像标注的一样。 尽管如此，我们的结果还是无法检测到只有1个像素的超薄血管。 我们期望关于血管结构的其他先验知识（例如连通性）可以进一步利用性能。