深度学习个人学习简明笔记

待更新

---

1 深度学习概论

1.1 基本概念

机器学习（Machine Learning）包括：模型、学习准则、优化方法。传统的机器学习需经过原始数据，数据预处理，特征提取，特征转换，预测（浅层学习）。
深度学习（Deep Learning）：一般是指通过训练多层网络结构对未知数据进行分类或回归，是一个复杂的机器学习算法，具有自动提取抽象特征的能力。

思想：通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。

1.2 分类

有监督学习：深度前馈网络、卷积神经网络、循环神经网络等
无监督学习：深度信念网、深度玻尔兹曼机，深度自编码器等

1.3 主要应用

1. 图像处理：图像分类、物体检测、图像分割、图像回归等
2. 语音识别：语音识别、声纹识别、语音合成等
3. 自然语言处理：语言模型、情感分析、机器翻译等
4. 其他综合应用：图像描述、图像生成、视频生成等

---

2 神经网络基础

2.1 神经网络组成

感知机：最小单元为神经元（Neuron），很多个神经元连接起来形成一个错综复杂的网络，称为神经网络（Neural Network）。机器学习中的神经网络一般指的是人工神经网络（Artificial Neural Network, ANN）。

多层感知机：由感知机推广而来，有多个神经元层，因此也叫深度神经网络（Deep Neural Network, DNN）

神经网络的训练流程：初始化参数，切分batch数据，前向传播（得到预测值），建立损失函数，反向传播（更新参数）

2.2 前向传播与反向传播

前向传播（Foward Propagation, FP）：作用于每一层的输入，通过逐层计算得到输出结果。
反向传播（Backward Propagation, BP）作用于网络的输出，通过计算梯度由深到浅更新网络参数。

2.3 超参数

超参数（Hyper-parameter）: 在开始机器学习过程之前设置值的参数。通常情况下需要对超参数进行优化，选择一组最优超参数，以提高学习的性能和效果。

常见的超参数：学习率（Learning Rate）、梯度下降法迭代的数量（Iterations）、隐藏层数目（Hidden Layers）、隐藏层单元数目、激活函数等

2.4 激活函数

激活函数（Activation Function）：增加神经网络模型的非线性；把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。

常见的激活函数

名称	函数	导数
Logistic函数	$$f(x)=\frac{1}{1+\exp (-x)}$$	$$f^{\prime }(x)=f(x)(1-f(x))$$
Tanh函数	$$f(x)=\frac{2}{1+\exp (-2x)}-1$$	$$f^{\prime }(x)=1-f^2(x)$$
ReLU	$$f(x)=\max (0,x)$$	$$f^{\prime }(x)=I(x>0)$$
ELU	$$f(x)=\max (0,x)+\min (0,\alpha (\exp (x)-1))$$	$$f^{\prime }(x)=I(x>0)+I(x\le 0)\cdot \alpha \exp (x)$$
SoftPlus函数	$$f(x)=\ln (1+\exp (x))$$	$$f^{\prime }(x)=\frac{1}{1+\exp (x)}$$

2.5 优化方法

2.5.1 基本梯度下降方法

1. 随机梯度下降法 (Stochastic Gradient Descent, SGD)：每次迭代（更新参数）只使用单个训练样本。运行速度很快；但易使得训练无法收敛。
2. 批量梯度下降法 (Batch Gradient Descent, BGD)：每次迭代更新中使用所有的训练样本。能保证收敛；但当数据量很大时迭代速度很慢。
3. 小批量梯度下降法（Mini-Batch Gradient Descent, MBGD)，折中了 BGD 和 SGD 的方法，每次迭代使用 batch_size （常设为2的n次方）个训练样本进行计算。比 SGD 收敛更稳定，也能避免 BGD 在数据集过大时迭代速度慢的问题，因此最为常用。
4. Adagrad：从训练前期至后期自动缩放梯度
5. Adadelta：对Adagrad的扩展。
6. RMSprop：效果介于Adagrad与Adadelta之间，对于RNN效果很好。

2.5.2 动量梯度下降

动量梯度下降（Momentum）：引入了基于梯度的移动指数加权平均的思想，即当前的参数更新方向不仅与当前的梯度有关，也受历史的加权平均梯度影响。对于梯度指向相同方向的维度，动量会积累并增加，而对于梯度改变方向的维度，动量会减少更新。由此使得收敛速度加快，同时又不至于摆动幅度太大。

2.5.3 Adam优化器

另一种参数自适应学习率的方法，相当于 RMSprop + Momentum，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。

---

3 卷积神经网络(CNN)

3.1 基本概念与结构

卷积（Convolution）：计算某种局部的相似性，关键参数有卷积核大小、卷积核数量（决定输出特征图的深度）
池化（Pooling）：将某种最突出的相似性选择出来

卷积神经网络的基本结构

• 输入层
• 卷积层：获得更多图像的抽象特征
• 池化层：减少网络中参数
• 全连接层
• 输出层

3.2 经典卷积网络

LeNet-5、AlexNet、VGGNet、Inception/GoogLeNet、ResNet、DenseNet

小卷积核优势：

1. 降低参数个数。
2. 提高感受野，捕捉更多的特征信息。
3. 增加非线性：小卷积核堆叠使用，可以使模型非线性表达能力更好。
4. 更好地处理边缘信息，更好地捕捉图像的细节。
5. 更好地处理不变性，使得模型可以更好地适应旋转、平移、缩放等变换。

---

4 循环神经网络(RNN)