当前位置: 代码迷 >> 综合 >> 【经典网络学习笔记2】AlexNet-ImageNet Classification with Deep Convolution Neural Network
  详细解决方案

【经典网络学习笔记2】AlexNet-ImageNet Classification with Deep Convolution Neural Network

热度:35   发布时间:2023-11-25 04:48:51.0

一、论文结构

二、需要掌握的东西是什么?

1、网络结构及参数计算、连接参数的计算(这个感觉用的不多)

 

关于参数计算真的很多不明确的地方,现在终于明确了。

其一,在第五个卷积经过重叠池化后得到6*6*256如何做全连接的。其实就是经过了flattened,拉成一个维度的,然后作为输入,后面的4096是超参数来的,1000是number_class.

其二,工程上用到了多卡去训练,在两个显卡上进行计算,所以存在着concate的操作,就是在通道上串联而已。我感觉concate是没有的,看源码才能知道。

其三,还有norm(LRN)放在哪里计算的问题也得看源码才知道,在VGG论文中被证实没有用,且后面的网络都没有人使用的,作者网络结构上写的是224,实际上训练中用的是227。

  • 对于连接数量计算,之前想了好久这是啥?原来就是用这些卷积核的节点(暂且用节点吧,便于理解)链接了多少次。
  • 还有个计算量是FLOATS(复杂度的,不要求掌握)

2、防止过拟合技术(数据增强、dropout)及relu激活函数

  • dropout

keep_prob = 留下多少比例 

  •  非线性激活单元relu

函数:

例子:

优点:

右边图片是论文中的图片。

优点详细解:

  • 训练数据的处理:

虽然AlexNet没有VGG那么经常被借鉴到,但是其防止过拟合方法一直在被使用者。 

三、其他问的。

LRN被淘汰了,可以不必要知道。

1、网络特点:

 2、代码:

  相关解决方案