深度神经网络DNN反向传播BP算法推导、δ法则

---

前言

\;\;\;\;\; 本文详细推导深度神经网络DNN反向传播BP算法中对权重w和偏置b的更新公式。通过图片和一步步的数学公式推导深刻理解反向传播BP算法，δ法则。

---

提示：以下是本篇文章正文内容，转载请附上链接！

一、单个神经元的内部结构

\;\;\;\;\; 神经网络中的神经元是对生物神经元的模拟，它接收来自外部的若干个变量值，为每个变量值赋予不同的权重，对变量进行加权求和，并经过内部激活函数的处理，最终输出激活值。

首先对输入变量进行加权求和：
$$\begin{array}{rl}\text{z}& =x_1\ast w_1+x_2\ast w_2+x_3\ast w_3+\cdots +x_n\ast w_n+b\\ & =\sum _{i=1}^n{x}_i{w}_i+b\\ & =\mathbf{x}\ast \mathbf{w}+b\end{array}$$
然后将加权求和结果输入到激活函数：
$$y=f(z)=f(\mathbf{x}\ast \mathbf{w}+b)$$
输入$\mathbf{x}$：神经元的输入变量值，可以理解为上一层神经元的输出结果。
权重$\mathbf{w}$：每一个输入对应着一个权重，代表着该输入的重要程度，重要程度越高，则权重越大。
偏置b：偏置可以理解为激活该神经元的阈值，当超过阈值时该神经元被激活。
激活函数f：当输入激励达到一定强度，神经元就会被激活，产生输出信号。模拟这一细胞激活过程的函数，就叫激活函数。
输出y：激活函数的输出结果，不同的激活函数有着不同的输出结果。

二、前向传播

先进行相关符号的定义：
$w_{jk}^l$：第（$l-1$）层的第 $k$ 个神经元连接到第 $l$ 层的第 $j$ 个神经元的权重
$b_j^l$：第 $l$ 层的第 $j$ 个神经元的偏置
$z_j^l$：第 $l$ 层的第 $j$ 个神经元的带权输入（上一层的激活值与偏置的加权之和）
$a_j^l$：第 $l$ 层的第 $j$ 个神经元的激活值

第1层神经元的带权输入值为：
$$\left[\begin{array}{c}{z}_1^{(1)}\\ z_2^{(1)}\end{array}\right]=\left[\begin{array}{cc}{w}_{11}^{(1)}& w_{12}^{(1)}\\ w_{21}^{(1)}& w_{22}^{(1)}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]+\left[\begin{array}{c}{b}_1^{(1)}\\ b_2^{(1)}\end{array}\right]={\mathbf{w}}_1\mathbf{x}+{\mathbf{b}}_1$$
第1层神经元的激活值为，其中$\sigma$为激活函数：
$${\mathbf{y}}_1=\left[\begin{array}{c}{a}_1^{(1)}\\ a_2^{(1)}\end{array}\right]=\left[\begin{array}{c}\sigma \left(z_1^{(1)}\right)\\ \sigma \left(z_2^{(1)}\right)\end{array}\right]$$
第2层神经元的带权输入值为：
$$\left[\begin{array}{c}{z}_1^{(2)}\\ z_2^{(2)}\end{array}\right]=\left[\begin{array}{cc}{w}_{11}^{(2)}& w_{12}^{(2)}\\ w_{21}^{(2)}& w_{22}^{(2)}\end{array}\right]\left[\begin{array}{c}{a}_1^{(1)}\\ a_2^{(1)}\end{array}\right]+\left[\begin{array}{c}{b}_1^{(2)}\\ b_2^{(2)}\end{array}\right]={\mathbf{w}}_2{\mathbf{y}}_1+{\mathbf{b}}_2$$
第2层神经元的激活值为：
$$\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]=\left[\begin{array}{c}{a}_1^{(2)}\\ a_2^{(2)}\end{array}\right]=\left[\begin{array}{c}\sigma \left(z_1^{(2)}\right)\\ \sigma \left(z_2^{(2)}\right)\end{array}\right]$$

三、反向传播

对于每一个样本，拟合误差用如下二次损失函数表示：
$$\begin{array}{rl}C& =\frac{1}{2}\sum _j(y_j-d_j{)}^2=\frac{1}{2}\sum _j(a_j^{(2)}-d_j{)}^2\end{array}$$
其中 $j$ 表示第 $j$ 个神经元，$y_j$ 表示输出层第 $j$ 个神经元的预测值（激活值），$d_j$ 表示第 $j$ 个神经元的标签。

第2层神经元的误差为：
$$\begin{gathered} e_1=y_1-d_1 \\ {e}_2=y_2-d_2 \end{gathered}$$
第2层第1个神经元的 ${\delta }_1^{(2)}$ 为：
$$\begin{array}{rl}{\delta }_1^{(2)}=\frac{\partial C}{\partial z_1^{(2)}}& =\frac{\partial C}{\partial a_1^{(2)}}\cdot \frac{\partial a_1^{(2)}}{\partial z_1^{(2)}}=\frac{\frac{1}{2}{\sum }_j(a_j^{(2)}-d_j{)}^2}{\partial a_1^{(2)}}\cdot \frac{\partial a_1^{(2)}}{\partial z_1^{(2)}}\\ & =\left(\begin{array}{c}{a}_1^{(2)}-d_1\end{array}\right)\cdot \frac{\partial a_1^{(2)}}{\partial z_1^{(2)}}=(y_1-d_1)\cdot {\sigma }^{\prime }(z_1^{(2)})={\sigma }^{\prime }(z_1^{(2)})\cdot e_1\end{array}$$
同理，第2层第2个神经元的 ${\delta }_2^{(2)}$ 为：
$$\begin{array}{r}{\delta }_2^{(2)}={\sigma }^{\prime }(z_2^{(2)})\cdot e_2\end{array}$$
第2层第1个神经元偏置 $b_1^{(2)}$ 的偏导数为：
$$\begin{array}{r}\frac{\partial C}{\partial b_1^{(2)}}=\frac{\partial C}{\partial z_1^{(2)}}\cdot \frac{\partial z_1^{(2)}}{\partial b_1^{(2)}}={\delta }_1^{(2)}\cdot \frac{\partial \left(w_{11}^{(2)}{a}_1^{(1)}+w_{12}^{(2)}{a}_2^{(1)}+b_1^{(2)}\right)}{\partial b_1^{(2)}}={\delta }_1^{(2)}\end{array}$$
同理：$$\begin{array}{r}\frac{\partial C}{\partial b_2^{(2)}}=={\delta }_2^{(2)}\end{array}$$
第2层第1个神经元权重 $w_{11}^{(2)}$ 的偏导数为：
$$\begin{array}{rl}\frac{\partial C}{\partial w_{11}^{(2)}}& =\frac{\partial C}{\partial z_1^{(2)}}\cdot \frac{\partial z_1^{(2)}}{\partial w_{11}^{(2)}}={\delta }_1^{(2)}\cdot \frac{\partial \left(w_{11}^{(2)}{a}_1^{(1)}+w_{12}^{(2)}{a}_2^{(1)}+b_1^{(2)}\right)}{\partial w_{11}^{(2)}}={\delta }_1^{(2)}\cdot a_1^{(1)}\end{array}$$
同理得：$$\begin{array}{r}\frac{\partial C}{\partial {\mathbf{w}}_2}=\left[\begin{array}{c}{\delta }_1^{(2)}\\ {\delta }_2^{(2)}\end{array}\right]\end{array}{\mathbf{y}}_1^T$$

$$\left[\begin{array}{c}{e}_1^{(1)}\\ e_2^{(1)}\end{array}\right]=\left[\begin{array}{cc}{w}_{11}^{(2)}& w_{21}^{(2)}\\ w_{12}^{(2)}& w_{22}^{(2)}\end{array}\right]\left[\begin{array}{c}{\delta }_1\\ {\delta }_2\end{array}\right]={\mathbf{w}}_2^T\left[\begin{array}{c}{\delta }_1\\ {\delta }_2\end{array}\right]$$
那么可以总结以下公式：
$$\begin{array}{rl}& {\delta }_j^l=(a_j^l-d_j)\cdot {\sigma }^{\prime }(z_j^l)\\ & \frac{\partial C}{\partial b_j^l}={\delta }_j^l\\ & \frac{\partial C}{\partial w_{jk}^l}={\delta }_j^l\cdot a_k^{l-1}\\ & {\delta }^{l-1}=\left({\left(w^l\right)}^T{\delta }^l\right)\odot {\sigma }^{\prime }\left(z^{l-1}\right)\end{array}$$
然后更新权重和偏置：
$$\begin{gathered} w_{jk}^l\to {\left(w_{jk}^l\right)}^{\prime }=w_{jk}^l-\eta \frac{\partial C}{\partial w_{jk}^l} \\ {b}_j^l\to {\left(b_j^l\right)}^{\prime }=b_j^l-\eta \frac{\partial C}{\partial b_j^l} \end{gathered}$$

---

总结

\;\;\;\;\; 后面推导的有些跳跃，读者自己多多思考，公式是没有问题的。