大家好，我是「K同学啊 」！
前几天翻译了一篇讲十大CNN结构的文章（「多图」图解10大CNN架构），原作者思路十分清晰，从时间线上，将近年来CNN发展过程中一些比较重要的网络模型做了一一介绍。我发现其中好像有几个网络模型并没有在《深度学习100例》出现，接下一段时间我将围绕这些网络模型进行实战讲解。
在90年代，由于支持向量机（Support Vecotr Machine，SVM）等算法的发展，深度学习的发展受到了很大的阻碍（尽管Geoffery Hinton在1986年发明的BP算法（Backpropagation）解决了神经网络的非线性分类学习的问题，但梯度消失的问题没有得到很好的解决）。但Yann LeCun等人坚持不懈，依然在该领域苦苦研究。1998年，Yann LeCun提出了LeNet-5网络。LeNet-5被誉为是卷积神经网络的“Hello Word”，足以见其重要性。
LeNet-5 是最简单的架构之一。它有 2 个卷积层和 3 个全连接层（LeNet-5 中的“5”——神经网络的名称通常来自于它们所具有的卷积层和全连接层的数量）。我们现在所知道的平均池化层被称为子采样层，它具有可训练的权重。这个架构有大约60,000 个参数。
?刊物</