一、RNN存在的问题

二、LSTM的基本思想

三、链式结构和门控单元

RNN都有重复链式结构：

• 标准RNN结构简单；
• LSTM链式结构特殊。

LSTM专门设计了 3种门控单元来控制信息的保留和丢弃。
具体来说包括了三种门。 之所以称之为门，一定要有一个控制信号，每个门是由一个sigmoid神经网络层以及逐点乘法运算组成的。 三个门的作用可以分别理解为：

• 橡皮擦（擦除一些没有用的记忆）
• 铅笔（写上一些新的记忆）
• 再输出
  
  
  

四、存在的问题

计算复杂，容易出现梯度消失和梯度爆炸的现象。

后续提出的门控循环单元GRU对此问题进行了改进，将在下篇博文介绍。