深度篇—— Deep Learning 经典网络 model 发展史(一) 关于 model 发展史图形结构和 LeNet-5 结构和特点_综合

返回主目录

返回 Deep Learning 经典网络 model 发展史目录

下一章：深度篇—— Deep Learning 经典网络 model 发展史(二) 细说 AlexNet 结构和特点

目录内容

深度篇—— Deep Learning 经典网络 model 发展史(一) 关于 model 发展史图形结构和 LeNet-5 结构和特点

深度篇—— Deep Learning 经典网络 model 发展史(二) 细说 AlexNet 结构和特点

深度篇—— Deep Learning 经典网络 model 发展史(三) 细说 ZF-Net 结构和特点

深度篇—— Deep Learning 经典网络 model 发展史(四) 细说 VGG16 结构和特点

深度篇—— Deep Learning 经典网络 model 发展史(五) 细说 GoogleNet 结构和特点 (包括 v1, v2, v3)

深度篇—— Deep Learning 经典网络 model 发展史(六) 细说 ResNet 结构和特点

深度篇—— Deep Learning 经典网络 model 发展史(七) 细说 Inception-ResNet 结构和特点

深度篇—— Deep Learning 经典网络 model 发展史(八) 细说 DenseNet 结构和特点

深度篇—— Deep Learning 经典网络 model 发展史(九) 细说 DarkNet 结构和特点和各模型与精度

本小节，关于 model 发展史图形结构和 LeNet-5 结构和特点，下一小节细说 AlexNet 结构和特点

一. 图形结构图

二. 经典网络(Classic Network)

1. LeNet-5

论文地址: Gradient-Based Learning Applied to Document Recognition

LeNet-5 卷积神经网络是 LeCun 在 1998年提出，用于解决手写数字识别的视觉任务。当时并没有使用 padding 或认为 padding 为 "VALID"。由于这是比较古典的网络，现在深度神经网络基本不用。下面说一下特性，就不详细述说了。感兴趣的朋友，可以自己去研读一下论文。

(1). 网络描述： $\large (input: 32 \times 32)$

其实，从上面的结构可以看出，输入是 32x32，其实，28x28 也是可以的，只不过，第一层需要将 padding 改为 SAME 就好了。当然，由于 LeNet-5 网络少，相对的，模型也很小，ckpt 模型文件不到 1M，如果冻结模型为 pb 文件的话，模型更小，对于移动端的小内存来说，LeNet-5 有时候就成了福音。

网络结构：

训练过程如下：

从上图可以看出，训练效果在当时，还是蛮可以的。test loss 在 1% 左右。而我在之前：深度篇—— CNN 卷积神经网络(四) 使用 tf cnn 进行 mnist 手写数字代码演示项目随便训练一下，acc 就上升到 98%+，再调一下参数，或 early-stopping 和 fine-tuning 一下，acc 上升到 99% 应该不是问题的。

(2). LeNet-5 的特点：

①. 每个卷积层包含三个部分：卷积、池化和非线性激活函数

②. 使用卷积提取空间特征

③. 降采样(subsample) 的平均池化层 (Average pooling)

④. 双曲正切(Tanh) 或 S 型 (Sigmoid) 的激活函数，Softmax 作为最后的分类器

⑤. 层与层之间的稀疏连接减少计算复杂度。