神经网络模型的构成

三种表示方式：

神经网络的三要素：

1. 具有突触或连接，用权重表示神经元的连接强度
2. 具有时空整合功能的输入信号累加器
3. 激励函数用于限制神经网络的输出

感知神经网络

BP神经网络

BP神经网络的学习由信息的正向传播和误差的反向传播两个过程组成，学习规则采用W-H学习规则（最小均方差，梯度下降法），通过反向传播，不断调整网络的权重和阈值，使得网络的误差平方和最小。

BP神经网络模型通用描述：
$$\begin{gathered} z^{(k)}=w^{(k)}{x}^{(k)}+b^{(k)} \\ {y}^{(k)}=f(z^{(k)}) \end{gathered}$$

$$o^{(k)}=f(w^{(k)}{o}^{(k-1)}+b^{(k)})$$

损失函数的构建 $$E=\frac{1}{2n}\sum _{p=1}^n(T_p-Q_p{)}^2$$
预测的输出值减期望的输出值的均方差

梯度下降法：
$$\begin{gathered} W_{(k+1)}=W_k-a\ast \frac{\alpha }{\alpha w_k}\ast E(w_k,b_k) \\ {b}_{(k+1)}=b_k=a\ast \frac{\alpha }{\alpha b_k}\ast E(w_k,b_k) \end{gathered}$$

而：
$$\begin{gathered} \frac{\alpha }{\alpha w_k}\ast E=\frac{1}{2m}\ast \sum _{i=1}^m\ast 2\ast (w_k{x}^i+b-y^i)\ast x^i \\ \frac{\alpha }{\alpha b_k}\ast E=\frac{1}{2m}\ast \sum _{i=1}^m\ast 2\ast (w_k{x}^i+b-y^i) \end{gathered}$$

当采用sigmoid激活函数：
导数：$$f^{\prime }(ne{t}_j^l)=f(ne{t}_j^l)(1-f(ne{t}_j^l))$$
$$(\frac{1}{1+e^{-z}}{)}^{\prime }=(\frac{1}{1+e^{-z}})\ast (1-\frac{1}{1+e^{-z}})$$
对于交叉熵损失函数有：

例题：
给定神经网络如下：

输入值为：x1, x2 = 0.5, 0.3
期望输出值为y1, y2 = 0.23, -0.07
给出正向传播的初始参数为$w_1$~$w_8$为0.2 -0.4 0.5 0.6 0.1 -0.5 -0.3 0.8
采用平方损失函数，梯度下降法求解第一轮更新后的参数。

训练步骤

1. 表达：计算训练的输出矢量 $A=W\ast P+B$，以及与期望输出之间的误差；
2. 检查：将网络输出误差的平方和与期望误差相比较，如果其值小于期望误差，或训练以达到实现设定的最大训练次数，则停止训练；否则继续。
3. 学习：采用最小均方差和梯度下降方法计算权值和偏差，并返回到1

BP算法的改进

1. 带动量因子算法
2. 自适应学习速率
3. 改变学习速率的方法
4. 作用函数后缩法
5. 改变性能指标函数