神经网络

计算

  神经网络非常简单，举个例子就理解了（最后一层的那个写错了，应该是 $a_1^{(3)}$）：

  $notation$： $a_j^{(i)}$ 表示第 $i$ 层的第 $j$ 个单元。$w^{(j)}$ 表示权重矩阵，控制从 $j$ 层到 $j+1$ 层的映射。

  其中：

$$\begin{array}{rl}{a}_1^{(2)}=& g(w_{10}^{(1)}{x}_0+w_{11}^{(1)}{x}_1+w_{12}^{(1)}{x}_2+w_{13}^{(1)}{x}_3)\\ a_2^{(2)}=& g(w_{20}^{(1)}{x}_0+w_{21}^{(1)}{x}_1+w_{22}^{(1)}{x}_2+w_{23}^{(1)}{x}_3)\\ a_3^{(2)}=& g(w_{30}^{(1)}{x}_0+w_{31}^{(1)}{x}_1+w_{32}^{(1)}{x}_2+w_{33}^{(1)}{x}_3)\\ h(x)=a_1^{(3)}=& g(w_{10}^{(2)}{a}_0^{(2)}+w_{11}^{(2)}{a}_1^{(2)}+w_{12}^{(2)}{a}_2^{(2)}+w_{13}^{(2)}{a}_3^{(2)})\end{array}$$

  如果向量化一下，那就是：

$$x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right],w^{(1)}=\left[\begin{array}{cccc}{w}_{10}^{(1)}& w_{11}^{(1)}& w_{12}^{(1)}& w_{13}^{(1)}\\ w_{20}^{(1)}& w_{21}^{(1)}& w_{22}^{(1)}& w_{23}^{(1)}\\ w_{30}^{(1)}& w_{31}^{(1)}& w_{32}^{(1)}& w_{33}^{(1)}\end{array}\right]$$

  然后有：

$$z^{(2)}=w^{(1)}x=\left[\begin{array}{c}{z}_1^{(2)}\\ z_2^{(2)}\\ z_3^{(2)}\end{array}\right],a^{(2)}=g(z^{(2)})=\left[\begin{array}{c}{a}_1^{(2)}\\ a_2^{(2)}\\ a_3^{(2)}\end{array}\right]$$

  下一层是：

$$a^{(2)}=\left[\begin{array}{c}{a}_0^{(2)}\\ a_1^{(2)}\\ a_2^{(2)}\\ a_3^{(2)}\end{array}\right],w^{(2)}=\left[\begin{array}{cccc}{w}_{20}^{(2)}& w_{21}^{(2)}& w_{22}^{(2)}& w_{23}^{(2)}\end{array}\right]$$

$$z^{(3)}=w^{(2)}{a}^{(2)}=\left[\begin{array}{c}{z}_1^{(3)}\end{array}\right],a^{(3)}=g(z^{(3)})=\left[\begin{array}{c}{a}_1^{(3)}\end{array}\right]$$

  以上就是神经网络的计算方式，其实还是很好理解也很好实现的qwq

后向传播 $BackPropagation$

  现在就是考虑如何计算出 $w^{(i)}$ 这么多矩阵了。（$notation$：$L$ 表示神经网络的层数，$S_l$ 表示 $l$ 层的节点数，$k$ 表示输出层的节点数）

  我们仍然考虑用类似 $GD$ 的方法，于是我们考虑 $\underset{w}{\min }J(w)$，其中：

$$J(w)=\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^{S_L}\frac{1}{2}[(h(x_i){)}_k-y_{ik}{]}^2$$

  然后我们就是要求解 $\frac{\partial J(w)}{\partial w_{ij}^{(l)}}$。

  我们考虑将所有的训练数据分开求解，对于其中一个训练数据 $(x_i,y_i)$ 来说：

$$J_i=\sum _{k=1}^{S_L}\frac{1}{2}[(h(x_i){)}_k-y_{ik}{]}^2$$

  我们定义 ${\delta }_i^{(l)}$ 表示 $a_i^{(l)}$ 对真实值的差值，也就是：

$${\delta }_j^{(l)}=\frac{\partial J_i}{\partial z_j^{(l)}}$$

  而对于最后一层来说：

$$\begin{array}{rl}{\delta }_j^{(L)}=\frac{\partial J_i}{\partial z_j^{(L)}}=\frac{\partial J_i}{\partial a_j^{(L)}}\cdot \frac{\partial a_j^{(L)}}{\partial z_j^{(L)}}=& \frac{\partial \sum _{k=1}^{S_L}\frac{1}{2}[(h(x_i){)}_k-y_{ik}{]}^2}{\partial a_j^{(L)}}\cdot \frac{\partial g(z_j^{(L)})}{\partial z_j^{(L)}}\\ =& \frac{\partial \sum _{k=1}^{S_L}\frac{1}{2}[a_k^{(L)}-y_{ik}{]}^2}{\partial a_j^{(L)}}\cdot g^{\prime }(z_j^{(L)})=(a_j^{(L)}-y_{ik})\cdot g^{\prime }(z_j^{(L)})\end{array}$$

  而我们要算的是：

$$\begin{array}{r}\frac{\partial J_i}{\partial w_{jk}^{(L-1)}}=\frac{\partial J_i}{\partial a_j^{(L)}}\cdot \frac{\partial a_j^{(L)}}{\partial z_j^{(L)}}\cdot \frac{\partial z_j^{(L)}}{\partial w_{jk}^{(L-1)}}={\delta }_j^{(L)}\cdot \frac{\partial z_j^{(L)}}{\partial w_{jk}^{(L-1)}}\end{array}$$

  所以我们只需要计算 $\frac{\partial z_j^{(L)}}{\partial w_{jk}^{(L-1)}}$ 就可以了

  我们又知道：

$$z_j^{(L)}=\sum _{i=1}^{S_{L-1}}{w}_{ji}^{(L-1)}{a}_i^{(L-1)}$$

  所以：

$$\frac{\partial z_j^{(L)}}{\partial w_{jk}^{(L-1)}}=\frac{\sum _{i=1}^{S_{L-1}}\partial w_{ji}^{(L-1)}{a}_i^{(L-1)}}{\partial w_{jk}^{(L-1)}}=a_k^{(L-1)}$$

  于是：

$$\frac{\partial J_i}{\partial w_{jk}^{(L-1)}}={\delta }_j^{(L)}\cdot a_k^{(L-1)}$$

  现在我们有了最后一层，我们考虑能不能往前推回去，这里我们以一个简单的例子来更直观的计算（这里我画图时把 $w$ 写成 $\phi$ 了qwq）：

  我们假设我们要计算 $J$ 对 $w_{11}^{(3)}$ 求偏导：

$$\frac{\partial J_i}{\partial w_{11}^{(3)}}=\frac{\partial (J_{i1}+J_{i2})}{\partial w_{11}^{(3)}}=\frac{\partial J_{i1}}{\partial w_{11}^{(3)}}+\frac{\partial J_{i2}}{\partial w_{11}^{(3)}}$$

  我们考虑分开求 $\frac{\partial J_{i1}}{\partial w_{11}^{(3)}}$ 和 $\frac{\partial J_{i2}}{\partial w_{11}^{(3)}}$

  先算前一项，沿着神经网络做分布求导：

$$\begin{array}{rl}\frac{\partial J_{i1}}{\partial w_{11}^{(3)}}=& \frac{\partial J_{i1}}{\partial a_1^{(5)}}\cdot \frac{\partial a_1^{(5)}}{\partial z_1^{(5)}}\cdot \frac{\partial z_1^{(5)}}{\partial a_1^{(4)}}\cdot \frac{\partial a_1^{(4)}}{\partial z_1^{(4)}}\cdot \frac{\partial z_1^{(4)}}{w_{11}^{(3)}}\\ =& {\delta }_1^{(5)}\cdot \frac{\partial z_1^{(5)}}{\partial a_1^{(4)}}\cdot \frac{\partial a_1^{(4)}}{\partial z_1^{(4)}}\cdot \frac{\partial z_1^{(4)}}{w_{11}^{(3)}}\end{array}$$

  我们又有：

$$\begin{array}{rl}{z}_1^{(5)}=w_{11}^{(4)}{a}_1^{(4)}+w_{12}^{(4)}{a}_2^{(4)}\to & \frac{\partial z_1^{(5)}}{\partial a_1^{(4)}}=w_{11}^{(4)}\\ a_1^{(4)}=g(z_1^{(4)})\to & \frac{\partial a_1^{(4)}}{\partial z_1^{(4)}}=g^{\prime }(z_1^{(4)})\\ z_1^{(4)}=w_{11}^{(3)}{a}_1^{(3)}+w_{12}^{(3)}{a}_2^{(3)}\to & \frac{\partial z_1^{(4)}}{\partial w_{11}^{(3)}}=a_1^{(3)}\end{array}$$

  所以：

$$\frac{\partial J_{i1}}{\partial w_{11}^{(3)}}={\delta }_1^{(5)}\cdot w_{11}^{(4)}\cdot g^{\prime }(z_1^{(4)})\cdot a_1^{(3)}$$

  同样的，我们也可以推出（这里因为和前面几乎一样所以过程就省略了 （绝对不是因为公式打起来太麻烦了qwq）：

$$\frac{\partial J_{i2}}{\partial w_{11}^{(3)}}={\delta }_2^{(5)}\cdot w_{21}^{(4)}\cdot g^{\prime }(z_1^{(4)})\cdot a_1^{(3)}$$

  所以把这俩玩意儿加起来就能得到：

$$\begin{array}{rl}\frac{\partial J_i}{\partial w_{11}^{(3)}}=& {\delta }_1^{(5)}\cdot w_{11}^{(4)}\cdot g^{\prime }(z_1^{(4)})\cdot a_1^{(3)}+{\delta }_2^{(5)}\cdot w_{21}^{(4)}\cdot g^{\prime }(z_1^{(4)})\cdot a_1^{(3)}\\ =& ({\delta }_1^{(5)}\cdot w_{11}^{(4)}+{\delta }_2^{(5)}\cdot w_{21}^{(4)})\cdot g^{\prime }(z_1^{(4)})\cdot a_1^{(3)}\end{array}$$

  然后我们令：

$${\delta }_1^{(4)}=({\delta }_1^{(5)}\cdot w_{11}^{(4)}+{\delta }_2^{(5)}\cdot w_{21}^{(4)})\cdot g^{\prime }(z_1^{(4)})$$

  于是我们就有：

$$\frac{\partial J_i}{\partial w_{11}^{(3)}}={\delta }_1^{(4)}\cdot a_1^{(3)}$$

  我们发现，这个式子跟我们上面的

$$\frac{\partial J_i}{\partial w_{jk}^{(L-1)}}={\delta }_j^{(L)}\cdot a_k^{(L-1)}$$

  这个的结构完全一致。

  所以我们得到了一个递推式：

$${\delta }_1^{(4)}=({\delta }_1^{(5)}\cdot w_{11}^{(4)}+{\delta }_2^{(5)}\cdot w_{21}^{(4)})\cdot g^{\prime }(z_1^{(4)})$$

  同样的，我们也能得到：

$${\delta }_2^{(4)}=({\delta }_1^{(5)}\cdot w_{12}^{(4)}+{\delta }_2^{(5)}\cdot w_{22}^{(4)})\cdot g^{\prime }(z_2^{(4)})$$

  也可以写成向量的形式：

$$\left[\begin{array}{c}{\delta }_1^{(4)}\\ {\delta }_2^{(4)}\end{array}\right]=\left(\left[\begin{array}{cc}{w}_{11}^{(4)}& w_{12}^{(4)}\\ w_{21}^{(4)}& w_{22}^{(4)}\end{array}\right]\left[\begin{array}{c}{\delta }_1^{(5)}\\ {\delta }_2^{(5)}\end{array}\right]\right)\cdot \ast \left[\begin{array}{c}{g}^{\prime }(z_1^{(4)})\\ g^{\prime }(z_2^{(4)})\end{array}\right]$$

  也就是：

$${\delta }^{(4)}=[(w^{(4)}{)}^T{\delta }^{(5)}]\cdot \ast g^{\prime }(z^{(4)})$$

  同样的，我们也能将这个式子推广到其他层：

$${\delta }^{(l)}=[(w^{(l)}{)}^T{\delta }^{(l+1)}]\cdot \ast g^{\prime }(z^{(l)})$$

  这个式子就是我们 $backpropagation$ 的关键了。

  然后我们对于每个训练数据 $i$ 都跑一遍 $BP$ 计算出 $\frac{\partial J_i}{\partial w_{jk}^{(L-1)}}$，然后令 ${\Delta }_{jk}^{(l)}$ 存储 $\frac{\partial J_i}{\partial w_{jk}^{(L-1)}}$ 的和。最后跑完 $m$ 个训练数据后令 $D_{jk}^{(l)}=\frac{1}{m}{\Delta }_{jk}^{(l)}$，我们就得到了：

$$\frac{\partial }{\partial w_{jk}^{(l)}}J(w)=D_{jk}^{(l)}$$

  然后再进行 $GD$ 就可以了。