一、论文结构
二、需要掌握的东西是什么?
1、网络结构及参数计算、连接参数的计算(这个感觉用的不多)
关于参数计算真的很多不明确的地方,现在终于明确了。
其一,在第五个卷积经过重叠池化后得到6*6*256如何做全连接的。其实就是经过了flattened,拉成一个维度的,然后作为输入,后面的4096是超参数来的,1000是number_class.
其二,工程上用到了多卡去训练,在两个显卡上进行计算,所以存在着concate的操作,就是在通道上串联而已。我感觉concate是没有的,看源码才能知道。
其三,还有norm(LRN)放在哪里计算的问题也得看源码才知道,在VGG论文中被证实没有用,且后面的网络都没有人使用的,作者网络结构上写的是224,实际上训练中用的是227。
- 对于连接数量计算,之前想了好久这是啥?原来就是用这些卷积核的节点(暂且用节点吧,便于理解)链接了多少次。
- 还有个计算量是FLOATS(复杂度的,不要求掌握)
2、防止过拟合技术(数据增强、dropout)及relu激活函数
- dropout
keep_prob = 留下多少比例
- 非线性激活单元relu
函数:
例子:
优点:
右边图片是论文中的图片。
优点详细解:
- 训练数据的处理:
虽然AlexNet没有VGG那么经常被借鉴到,但是其防止过拟合方法一直在被使用者。
三、其他问的。
LRN被淘汰了,可以不必要知道。
1、网络特点:
2、代码: