当前位置: 代码迷 >> 综合 >> 深度篇—— Deep Learning 经典网络 model 发展史(七) 细说 Inception-ResNet?结构和特点
  详细解决方案

深度篇—— Deep Learning 经典网络 model 发展史(七) 细说 Inception-ResNet?结构和特点

热度:3   发布时间:2023-12-15 08:28:55.0

 

返回主目录

返回 Deep Learning 经典网络 model 发展史 目录

上一章:深度篇—— Deep Learning 经典网络 model 发展史(六) 细说 ResNet 结构和特点

下一章:深度篇—— Deep Learning 经典网络 model 发展史(八) 细说 DenseNet 结构和特点

 

本小节,细说 Inception-ResNet 结构和特点,下一小节细说 DenseNet 结构和特点

 

论文地址:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

 

二. 经典网络(Classic Network)

7. Inception-ResNet

(1). Inception-ResNet 特征神经网络图形


    (2).Inception-v4 block、Inception-v4 block 和 Inception-ResNet block,以及它们的网络结构

Inception-v4、Inception-ResNet-v1 与 Inception-ResNet-v2 它们之间,整体网络结构类似,只是组成网络结构的 block 有所不同而已。这样来思考的话,更容易理解网络结构。

 

(3).  Inception-ResNet 特性:

   ①. 在 Inception-ResNet 里主要有 Inception-ResNet V1 和 Inception-ResNet V2。Inception-ResNet V1 是对应 Inception-V3 进行 ResNet 改造的。Inception-ResNet V2 是对应 Inception-V4 进行 ResNet 改造的。

   ②. 作者发现,如果 filter 的个数超过 1000 个,残差网络会变得不稳定,网络会在训练的早期就 “死掉”,也就意味着在 几万次迭代之后, avg pooling 之前的最后几层网络参数全是 零。解决方案是要么减少 learning rate,要么对这些层增加额外的 BN (如果 BN 没救了,则使用下面的缩放来补救)。作者又发现,如果将残差部分缩放后再跟需要相加的层相加,会使网络在训练过程中更稳定。因此作者选择了一些缩放因子在 0.1 ~ 0.3 之间,用这个缩放因子去缩放残差网络,然后再去做加法。使用缩放因子并不是严格需要的,它对网络没有害处,会帮助网络训练更加稳定。

   ③. 网络比较

       论文中提供的数据可以看出 Inception-V4 和 Inception-ResNet V2 的差别并不大,但是都比 Inception-V3 和 Inception-ResNet V1 好很多

      a. 在 Inception-ResNet V1 和 Inception-V3 的比较中,Inception-ResNet V1 虽然训练速度更快,不过最后结果比 Inception-V3 差那么一点点

      b. 在 Inception-ResNet V2 和 Inception-V4 的比较中,Inception-ResNet V2 的训练速度更快,层数更少,而且结果比 Inception-V4 更好一点点。所以最后胜出的是 Inception-ResNet V2。

 

 

 

 

 

 

 

 

                  

 

??????返回主目录

返回 Deep Learning 经典网络 model 发展史 目录

上一章:深度篇—— Deep Learning 经典网络 model 发展史(六) 细说 ResNet 结构和特点

下一章:深度篇—— Deep Learning 经典网络 model 发展史(八) 细说 DenseNet 结构和特点

  相关解决方案