一、优化器属性与方法

pytorch的优化器：
管理并更新模型中可学习参数的值，使得模型输出更接近 真实标签

导数：函数在指定坐标轴上的变化率
方向导数：指定方向上的变化率
梯度：一个向量，方向为方向导数取得最大值的方向

基本属性
• defaults：优化器超参数
• state：参数的缓存，如momentum的缓存
• params_groups：管理的参数组，list中有个字典
• _step_count：记录更新次数，学习率调整中使用

基本方法
• zero_grad()：清空所管理参数的梯度
pytorch特性：张量梯度不自动清零

• zero_grad()：清空所管理参数的梯度
• step()：执行一步更新

• zero_grad()：清空所管理参数的梯度
• step()：执行一步更新
• add_param_group()：添加参数组

• zero_grad()：清空所管理参数的梯度
• step()：执行一步更新
• add_param_group()：添加参数组

常用在优化器参数的保存与加载
• state_dict()：获取优化器当前状态信息字典
• load_state_dict() ：加载状态信息字典

学习率（learning rate）:
控制更新的步伐

Momentum（动量，冲量）：
结合当前梯度与上一次更新信息，用于当前更新

让更新保持一个惯性
$$\begin{array}{l}\text{ 指数加权平均: }{\mathrm{v}}_t=\beta \ast v_{t-1}+(1-\beta )\ast {\theta }_t\\ {\mathrm{v}}_{100}=\beta \ast v_{99}+(1-\beta )\ast {\theta }_{100}\\ =(1-\beta )\ast {\theta }_{100}+\beta \ast \left(\beta \ast v_{98}+(1-\beta )\ast {\theta }_{99}\right)\\ =(1-\beta )\ast {\theta }_{100}+(1-\beta )\ast \beta \ast {\theta }_{99}+\left({\beta }^2\ast v_{98}\right)\\ =(1-\beta )\ast {\theta }_{100}+(1-\beta )\ast \beta \ast {\theta }_{99}+(1-\beta )\ast {\beta }^2\ast {\theta }_{98}+\left({\beta }^3\ast v_{97}\right)\\ =(1-\beta )\ast {\beta }^0\ast {\theta }_{100}+(1-\beta )\ast {\beta }^1\ast {\theta }_{99}+(1-\beta )\ast {\beta }^2\ast {\theta }_{98}+\left({\beta }^3\ast v_{97}\right)\\ \text{得到通式：}\\ ={\sum }_i^N(1-\beta )\ast {\beta }^i\ast {\theta }_{N-i}\end{array}$$beta越小记忆周期越短

原始梯度下降公式：$$w_{i+1}=w_i-lr\ast g\left(w_i\right)$$

pytorch中更新公式：$$\begin{array}{c}{v}_i=m\ast v_{i-1}+g\left(w_i\right)\\ w_{i+1}=w_i-lr\ast v_i\end{array}$$

  𝒘𝒊+𝟏：第i+1次更新的参数
  lr：学习率
  𝒗𝒊 ：更新量
  m：momentum系数
  𝒈(𝒘𝒊)： 𝒘𝒊的梯度
eg:$$\begin{array}{rl}{v}_{100}& =m\ast v_{99}+g\left(w_{100}\right)\\ & =g\left(w_{100}\right)+m\ast \left(m\ast v_{98}+g\left(w_{99}\right)\right)\\ & =g\left(w_{100}\right)+m\ast g(w_{99}+m^2\ast v_{98}\\ & =g\left(w_{100}\right)+m\ast g\left(w_{99}\right)+m^2\ast g\left(w_{98}\right)+m^3\ast v_{97}\end{array}$$

二、pytorch中的优化器

1. optim.SGD
   pytorch中最常用也是最实用的优化器
   主要参数：
   • params：管理的参数组
   • lr：初始学习率
   • momentum：动量系数，贝塔
   • weight_decay：L2正则化系数
   • nesterov：是否采用NAG

optim.SGD(params, lr=<object object>, momentum=0, dampening=0, weight_decay=0, nesterov=False)

2. optim.Adagrad：自适应学习率梯度下降法
3. optim.RMSprop： Adagrad的改进
4. optim.Adadelta： Adagrad的改进
5. optim.Adam：RMSprop结合Momentum，
   《Adam: A Method for Stochastic Optimization》
6. optim.Adamax：Adam增加学习率上限
7. optim.SparseAdam：稀疏版的Adam
8. optim.ASGD：随机平均梯度下降
9. optim.Rprop：弹性反向传播
10. optim.LBFGS：BFGS的改进