1.MobileNet V1
这篇论文是谷歌在2017年提出的，专注于移动端或者嵌入式设备中的轻量级CNN网络。该论文最大的创新点是，提出了深度可分离卷积（depthwise separable convolution）。
首先，我们分析一下传统卷积的运算过程，请如下动图或者这篇博客。可以看出，传统卷积分成两步，每个卷积核与每张特征图进行按位相成然后进行相加，此时，计算量为DF?DF?DK?DK?M?N，其中DF为特征图尺寸，DK为卷积核尺寸，M为输入通道数，N为输出通道数。
然后，重点介绍一下深度可分离卷积。深度可分离卷积将传统卷积的两步进行分离开来，分别是depthwise和pointwise。从下面的图可以看出，首先按照通道进行计算按位相乘的计算，此时通道数不改变；然后依然得到将第一步的结果，使用1*1的卷积核进行传统的卷积运算，此时通道数可以进行改变。使用了深度可分离卷积，其计算量为DK?DK?M?DF?DF+1?1?M?N?DF?DF。
通过深度可分离卷积，计算量将会下降1/N+1/(DK^2)，当DK=3时，深度可分离卷积比传统卷积少8到9倍的计算量。
这种深度可分离卷积虽然很好的减少计算量，但同时也会损失一定的准确率。从下图可以看到，使用传统卷积的准确率比深度可分离卷积的准确率高约1%，但计算量却增大了9倍。
最后给出v1的整个模型结构，该网络有28层（把fc算在内，pool和softmax不算，层数计算只考虑有参数的层）。可以看出，该网络基本去除了pool层，使用stride来进行降采样（难道是因为pool层的速度慢？）。
其次，v1还存在以下的亮点，值得关注一下：
- depthwise后接BN层和RELU6，pointwise后也接BN层和RELU6，如下图所示（图中应该是RELU6）。左图是传统卷积，右图是深度可分离卷积。更多的ReLU6，增加了模型的非线性变化，增强了模型的泛化能力。
- v1中使用了RELU6作为激活函数，这个激活函数在float16/int8的嵌入式设备中效果很好，能较好地保持网络的鲁棒性。
- v1还给出了2个超参，宽度乘子α和分辨率乘子β，通过这两个超参，可以进一步缩减模型，文章中也给出了具体的试验结果。此时，我们反过来看，扩大宽度和分辨率，都能提高网络的准确率，但如果单一提升一个的话，准确率很快就会达到饱和，这就是2019年谷歌提出efficientnet的原因之一，动态提高深度、宽度、分辨率来提高网络的准确率。