【论文篇】【1】详解Non-local U-Nets for Biomedical Image Segmentation

详解Non-local U-Nets for Biomedical Image Segmentation

0.论文作者

1.Unet的不足

1.1 unet编码器均为局部操作，无法整合全局信息，同时下采样丢失空间信息，尤其对生物医学图像不利。unet编码器通常会堆叠卷积层与下采样交叉在一起，逐渐减小特征图的空间尺寸。卷积操作、下采样操作都是局部操作，运用小卷积核进行特征提取。通过级联的方式叠加卷积和下采样操作产生较大卷积核，因此能够聚集较大范围信息。由于生物医学图像分割通常受益于广泛的上下文信息，因此大多数模型需要深层的编码器，即堆叠更多的局部操作。这样会引入大量训练参数，尤其是在需要更多下采样的时候，因为通常这样特征映射的通道数会加倍此外，下采样会丢失更多的空间信息，这些信息对于生物医学图像分割至关重要

1.2 unet解码器同样为局部操作，上采样很难恢复全局信息，尤其是无法从编码器有效获取全局信息。unet解码器上采样如反卷积，反池化操作都是局部操作，上采样恢复细节信息需要全局信息。如果不考虑全局信息就很难做到这一点。

2.本文创新点

1.提出了全局聚合模块global aggregation block，汇聚全局信息得到更加精确的分割图

2.简化unet下采样到4x，使其更加高效快速且减少很多参数

3.non-local unet结构

网络使用的3d结构，上图示例输入为两个通道，输出为4类，每一次下采样通道加倍，反之上采样通道减半，短连接采用相加操作。优点有两点：

1.跳跃连接不会增加特征图的数量，从而减少了参数

2.相加可以视作残差连接，在训练中任然有效

4.Residual Blocks

提出的网络结构中相加操作等价于远程残差连接模块，并且基于global aggregation block，作者提出了四种残差网络，都采用了pre-activation模式。

a.regular residual block
标准残差模块，在跳跃连接求和后插入这样的模块

b.down-sampling residual block
下采样残差模块，下采样时使用

c.bottom block
底部模块，使用global aggregation block

d.up-sampling residual block
上采样模块，上采样时使用

5.Global Aggregation Block

x，y：输入输出
Conv_1N：输出通道为N的点卷积
Unfold(·)：将D × H × W × C展开为(D ×H ×W)×C张量
QueryTransformCK (·)： 生成CK feature maps的任何操作
CK, CV：是表示键和值的维度的超参数
K,V: 假设X的尺寸为D×H×W×C，则K和V的尺寸分别为（D×H×W）×CK和（D×H×W）×CV

第一步，生成query (Q), key (K) and value (V ) 矩阵。Unfold之前有Multi-Head操作，Multi-Head将通道拆分，Q的维度为(DQ × HQ × WQ) × CK，

第二步，自注意机制。A为注意力矩阵，用Q点乘K的转置，除以根号CK，再使用softmax，A的维度为(DQ × HQ × WQ) × (D × H × W)。O的维度为(DQ × HQ × WQ) × CV。大家可以画画图理解一下2d卷积的情况，本质还是non-local操作。

第三步，还原为原维度大小。

6.实验结果

可以看到精度提高同时参数更少，推理速度更快。

7论文下载连接

Non-local U-Nets for Biomedical Image Segmentation论文下载连接

码字不易，觉得我写的不错的可以点一下关注哦(⊙o⊙)求赞求关注。