Day 19 Recurrent Neural Network （RNN 1）

md 发现我最近需要恶补一下vue的技术……服了（因为有两个项目要交单子了）

好吧导致我停更新两天的DL，我去如坐针毡啊！今天补上

• Slot Filling

将词语用向量的形式来表示；

提问：中文如何处理？

检测不到 前面的那个词语；

提问： 为什么不把整句话输入进去？

这样应该可以，但是如果是一个很长的段落呢？把整篇文章进行encode 是不合理的

needs memory

(Elman ) Recurrent Neural Network(RNN)

把这个流程走通！！！！ 一定记得走通哈

Then we have a model which can store the order

考量时间顺序的那个kaggle

提问： 如果我们的nlp呢？ 有一些倒装句应该如何处理使得其语义相同？

Elman & Jordan Network

这两个图如果看不懂的话 说明没有弄懂上面的 流程

​

Bidirectional RNN

检测范围较广，不仅上文， 还有下文；用来解决倒装句比较不错哈

Long short -term Memory (LSTM)

正常的输入和三个控制门讯号的输入

和RNN比较起来, 强化了对整体序列的记忆；并且可以 认为的通过lable 训练出需要记忆的重点序列

内部逻辑图！需要重点掌握哦！

• “h” 通常表示 LSTM（长短期记忆网络）的输出门中使用的激活函数。在 LSTM 单元中，输出门决定了有多少当前单元状态要输出到下一个时间步骤。这个 “h” 函数通常是一个 sigmoid 函数。
• “g” 表示在计算新的单元状态时使用的激活函数。这个函数通常是一个能够输出较宽范围的函数，例如双曲正切函数（tanh），其输出范围是 -1 到 1。这允许网络调整其内部状态，通过结合之前的状态和当前的输入。

这里我也不明白为什么要弄两个激活函数？ 是普通的network 也是两次激活函数吗？

需要注意的一点是 forget gate 的取值 ，应该交 remember gate 会好一些

来吧 ，整个LSTM 最重要的ppt ，走动这个ppt 你就懂了LSTM的工作原理

如何理解LSTM和普通network的关系？

图中的+ 代表我的输入； 小圈圈代表激活函数； 划线代表不同的weight

太扯淡了！ 好复杂的鬼东西
BUt
this is quite standard now