详情可来博文：
LeNet-5网络模型详解https://blog.csdn.net/sinat_24143931/article/details/78958931
LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，是早期卷积神经网络中最有代表性的实验系统之一。
这里我主要是针对我做个笔记：
- 1、掌握：卷积神经网络的网络连接具有局部连接、参数共享的特点
- 2、全连接的层的连接数、参数数量的数量级约为O(n^2)，
- 卷积层的连接数、参数数量的数量级约为O(n)，远小于全连接的O(n^2)的数量级
- 3、C3层是一个卷积层，卷积和和C1相同，不同的是C3的每个节点与S2中的多个图相连。C3层有16个10x10的图，每个图与S2层的连接的方式如Table1 所示。C3与S2中前3个图相连的卷积结构见Figure 10.这种不对称的组合连接的方式有利于提取多种组合特征。改成有(5x5x3+1)x6 + (5x5x4 + 1) x 3 + (5x5x4 +1)x6 + (5x5x6+1)x1 = 1516个训练参数，共有1516x10x10=151600个连接。
- F6层是全连接层。F6层有84个节点，对应于一个7x12的比特图，-1表示白色，1表示黑色，这样每个符号的比特图的黑白色就对应于一个编码。该层的训练参数和连接数是(120 + 1)x84=10164. 比特图的样式见Figure 12，连接方式见Figure 13.
的值由i的比特图编码确定。越接近于0，则越接近于，即越接近于i的比特图编码，表示当前网络输入的识别结果是字符i。该层有84x10=840个设定的参数和连接。连接的方式见Figure 14.
- Output层也是全连接层，共有10个节点，分别代表数字0到9，且如果节点i的值为0，则网络识别的结果是数字i。采用的是径向基函数（RBF）的网络连接方式。假设x是上一层的输入，y是RBF的输出，则RBF输出的计算方式是：
-
-
实际上，在后来发现，RBF单元常常被softmax代替。
关于softmax 这个很好，三分钟带你对 Softmax 划重点https://blog.csdn.net/red_stone1/article/details/80687921
以上是LeNet-5的卷积神经网络的完整结构，共约有60,840个训练参数，340,908个连接。一个数字识别的效果如Figure 15所示。
