一、神经网络概述

神经网络是一种模拟人类大脑神经元结构和功能的计算模型，它由大量的节点（神经元）和连接这些节点的边组成，通过学习数据中的模式和关系来执行各种任务，如分类、回归、预测、图像识别、自然语言处理等。神经网络在人工智能领域取得了巨大的成功，广泛应用于众多领域，推动了技术的快速发展。

二、基本结构

1. 神经元
   • 神经元是神经网络的基本单元，它接收输入信号，对这些信号进行加权求和，并通过一个激活函数产生输出信号。每个神经元有多个输入连接，每个连接都有一个对应的权重，表示该输入对神经元输出的影响程度。神经元的输出计算公式通常为：$y=f({\sum }_{i=1}^n{w}_i{x}_i+b)$，其中$y$是神经元的输出，$x_i$是第$i$个输入信号，$w_i$是第$i$个输入连接的权重，$b$是偏置（一个可学习的常数），$f$是激活函数。
2. 层
   • 神经网络由多个层组成，常见的层类型包括有输入层、隐藏层和输出层。
     • 输入层：接收输入数据，其神经元数量通常等于输入数据的特征数量。
     • 隐藏层：位于输入层和输出层之间，可以有一个或多个隐藏层。隐藏层神经元通过学习数据中的复杂模式和关系，对输入数据进行特征转换和抽象。
     • 输出层：产生神经网络的最终输出，其神经元数量根据任务的需求而定。例如，在分类任务中，输出层神经元数量通常等于类别数量；在回归任务中，输出层通常只有一个神经元。
3. 连接与权重
   • 神经元之间通过连接传递信号，连接上的权重决定了信号的传递强度。在训练过程中，神经网络通过调整权重来学习数据中的模式，使得输出尽可能接近预期的结果。权重的初始值通常是随机初始化的，然后通过优化算法（如梯度下降法）根据训练数据进行更新。

三、激活函数

激活函数是神经网络中引入非线性因素的关键组件，决定了神经元的输出如何根据输入进行变换。常见的激活函数包括：

1. Sigmoid函数：$f(x)=\frac{1}{1+e^{-x}}$，其输出值在0到1之间，常用于二分类问题的输出层或隐藏层中，将神经元的输出映射为概率值。
2. Tanh函数：$f(x)=$