LeNet-5的成功在于其能够自动从图像中学习特征，而不需要人工设计特征提取器。这种能力使得LeNet-5在图像识别和分类任务中表现出色，并且对后来的深度学习模型产生了深远的影响。尽管现在的深度学习模型在规模和复杂性上远超LeNet-5，但LeNet-5仍然是深度学习和计算机视觉领域的一个里程碑。
LeNet-5的应用场景包括但不限于：
- 手写数字识别：如邮政编码识别，这是LeNet-5最初被设计用来解决的问题。
- 机器打印字符识别：LeNet-5也适用于识别机器打印的字符。
- 图像分类：在其他图像分类任务中，LeNet-5可以作为一个基础模型进行调整和优化。
import torch
from torch import nn
net = nn.Sequential(nn.Conv2d(1,6,kernel_size=5,padding=2),nn.Sigmoid(),nn.AvgPool2d(kernel_size=2,stride=2),nn.Conv2d(6,16,kernel_size=5）,nn.Sigmoid(),nn.AvgPool2d(kernel_size = 2,stride=2),nn.Flatten(), //将多维的输入数据展平成一维nn.Linear(16*5*5,120),nn.Sigmoid(),nn.Linear(120, 84), nn.Sigmoid(),nn.Linear(84,10))在卷积神经网络（CNN）中，全连接层（nn.Linear）通常用于网络的末端，以将学习到的高层特征映射到最终的输出。在您提供的网络结构中，有三层全连接层，每层都有其特定的作用：
-
第一层全连接（
nn.Linear(16*5*5, 120)）：- 这一层接收来自最后一个池化层的输出，该输出的形状为
(批次大小, 16, 5, 5)。nn.Flatten()将其展平成(批次大小, 16*5*5)。 - 这一层将展平的特征向量映射到一个具有120个神经元的隐藏层。这可以被视为一个特征学习阶段，其中网络学习如何将低层特征组合成更抽象的表示。
- 这一层接收来自最后一个池化层的输出，该输出的形状为
-
第二层全连接（
nn.Linear(120, 84)）：- 这一层接收第一层全连接的输出，即一个形状为
(批次大小, 120)的向量。 - 它将120个特征映射到一个较小的、具有84个神经元的隐藏层。这一层进一步抽象化特征，减少参数数量，并可能帮助网络学习更复杂的模式。
- 这一层接收第一层全连接的输出，即一个形状为
-
第三层全连接（
nn.Linear(84, 10)）：- 这一层是网络的最后一层，它将84个特征映射到最终的输出层，通常用于分类任务。
- 对于多类分类问题，输出层的神经元数量等于类别数。在这种情况下，有10个神经元，对应于10个类别的输出。
问：为什么全连接层后面要加激活函数
-
引入非线性： 全连接层本质上是执行线性变换的，这意味着它们的输出是输入的加权和。如果没有激活函数，无论添加多少全连接层，网络最终都只能学习到输入数据的线性组合，这限制了网络的表达能力。激活函数引入了非线性，使得网络能够学习和模拟更复杂的函数。
-
帮助激活函数饱和： 某些激活函数，如Sigmoid或Tanh，具有饱和区，这意味着当输入值很大或很小的时候，函数的输出会趋向于常数。这可以帮助减少梯度消失问题，特别是在训练深度网络时。
-
控制输出范围： 激活函数可以控制输出的数值范围，例如，Sigmoid函数将输出限制在0和1之间，而Tanh函数将输出限制在-1和1之间。这有助于保持数值稳定性，尤其是在早期的深度学习模型中。
-
提高模型的灵活性： 激活函数的选择可以影响模型的灵活性和性能。例如，ReLU（Rectified Linear Unit）及其变体（如Leaky ReLU、Parametric ReLU等）在现代深度学习模型中非常流行，因为它们能够加速训练并提高模型的性能。
-
实现特定的输出分布： 在某些情况下，激活函数被用来确保输出层的分布符合特定的要求。例如，在二分类问题中，Sigmoid函数可以确保输出层的输出在0和1之间，表示概率。
-
减少过拟合： 某些激活函数，如Dropout，虽然不是传统意义上的激活函数，但它们可以被看作是在网络中引入随机性的一种方式，有助于减少过拟合。
