当前位置: 代码迷 >> 综合 >> 论文笔记(1) ShuffleNet
  详细解决方案

论文笔记(1) ShuffleNet

热度:41   发布时间:2023-12-27 10:39:10.0

1.简要介绍

这篇论文提出了ShuffleNet,这个新的结构使用了两个新的操作:pointwise group convolution和 channel shuffle,在保持精度的同时大大降低计算成本。

提出的pointwise group convolution去减少1x1卷积的计算复杂度,同时,为了克服分组卷积的带来的副作用,我们提出了一个新颖的channel shuffe操作来帮助信息在通道间流动。

2.具体介绍

图a是普通的分组卷积结构。
图b就是shuffleNet的结构。
图c是打乱通道后的结果。

那么打乱通道有什么好处?如图a为普通的分组卷积,它是多个分组卷积堆叠到一起,有一个副作用:某一通道的输出仅来自输入通道的一小部分。图1(a)示出了两个堆叠分组卷积的情况。很明显,一个特定分组的输出只与该分组的输入相关。此属性阻止通道组之间的信息流动。所以为了减少分组卷积的通道隔离带来的影响,这篇论文使用打乱通道的操作帮助层与层之间通道之间信息的流动。

正如论文中所说的如果我们允许group convolution从不同的group中获取输入数据(如图1 (b)所示),那么输入和输出通道将完全相关。具体地说,对于由前一分组层生成的特征图,我们可以先将每一组的信通道划分为若干个子通道组,然后再将不同的子通道组输入下一层的每个通道组。