深层神经网络

符号规定

• $L$ ：表示神经网络的层数；
• $l$ ：表示第几层；
• $n^{[l]}$ ：表示第 $l$ 层的节点数；
• $a^{[l]}$ ：表示第 $l$ 层中的激活函数（泛指）；
• $a^{[l]}=g^{[l]}(z^{[l]})$ ：表示第 $l$ 层中的激活函数（泛指）；
• $W^{[l]}$ ：表示第 $l$ 层的参数 $w$ 的集合；
• $b^{[l]}$ ：表示第 $l$ 层的参数 $b$ 的集合。

前向传播和反向传播都类似之前的笔记。

流程图

前向传播有输入数据 $x$ ，反向传播的输入数据是 $d{a}^{[L]}$ ，即输出层（第 $L$ 层）的输出，在向量化代码中，直接展示出来的结果是损失函数 $L(\hat{y},y)$ ，

因为 $d{a}^{[L]}=-\frac{y}{a}+\frac{1-y}{1-a}$ ，而 $L(\hat{y},y)$ 对 $\hat{y}$ （$a$）的导数，正好等于这个结果。因此将损失函数对 $\hat{y}$ （$a$）求导，可得出 $d{a}^{[L]}$ ，然后代入反向传播链的输入，开始迭代，如上图所示。

向量化时 $d{a}^{[L]}$ 需改为 $d{A}^{[L]}$ ， $d{A}^{[L]}=(d{a}^{[1]},d{a}^{[2]},...,d{a}^{[m]})$ 。

为何$z^{[l]}$是反向传播的一个输入参数

$$\begin{array}{rl}\because a^{[l]}=\sigma & (z^{[l]})=\sigma (W^{[l]}{a}^{[l-1]}+b^{[l]})\\ \because \frac{dL}{d{a}^{[l-1]}}& =\frac{dL}{d{a}^{[l]}}\cdot \frac{d{a}^{[l]}}{d{a}^{[l-1]}}\\ & =d{a}^{[l]}\cdot {\sigma }^{{}^{\prime }}(W^{[l]}{a}^{[l-1]}+b^{[l]})W^{[l]}\cdot d{a}^{[l-1]}\\ \therefore d{a}^{[l-1]}& =d{a}^{[l]}\cdot {\sigma }^{{}^{\prime }}(z^{[l]})W^{[l]}\cdot d{a}^{[l-1]}\end{array}$$

核对矩阵的维度

向量化前的单个样本

• 前向传播：

  $W^{[l]}$ ：维度为 $(n^{[l]},n^{[l-1]})$ ；

  $z^{[l]}$ ：维度为 $(n^{[l]},1)$ ；

  $a^{[l]}$ ：维度为 $(n^{[l]},1)$ ；

  $b^{[l]}$ ：维度为 $(n^{[l]},1)$ 。

• 反向传播：

  $d{W}^{[l]}$ 和 $W^{[l]}$ 同维度；

  $d{b}^{[l]}$ 和 $b^{[l]}$ 同维度。

向量化后的整个训练集

• 前向传播：

  $X(A^{[0]})$ ：维度为 $(n^{[0]},m)$ ；

  $W^{[l]}$ ：维度为 $(n^{[l]},n^{[l-1]})$ ；

  $b^{[l]}$ ：维度为 $(n^{[l]},1)$ ；# 要广播

  $Z^{[l]}$ ：维度为 $(n^{[l]},m)$ ；

  $A^{[l]}$ ：维度为 $(n^{[l]},m)$ 。

• 反向传播：

  $d{W}^{[l]}$ 和 $W^{[l]}$ 同维度；

  $d{b}^{[l]}$ 和 $b^{[l]}$ 同维度；

  $d{Z}^{[l]}$ 和 $Z^{[l]}$ 同维度；

  $d{A}^{[l]}$ 和 $A^{[l]}$ 同维度。

超参数：

能控制参数 $w$ 和 $b$ 的参数，需人为设置。

• 学习率 $\alpha$ ；
• 梯度下降法循环次数；
• 隐层数 $L$ ；
• 隐藏层的单元（节点）数；
• 激活函数类型。

这些参数需要不断测试，实时评估损失函数（横坐标越大，纵坐标越小）。