1. GRU的基本结构和运作原理
1.1 GRU的基本概念
Gated Recurrent Unit (GRU) 是一种简化版的循环神经网络 (RNN)，它通过引入门控机制来解决长期依赖问题，同时减少参数数量以降低计算复杂度。
1.2 GRU的结构详解
GRU 包含两个门控机制：更新门 (update gate) 和重置门 (reset gate)。
- 重置门 (r_t): 控制当前时刻的输入与前一时刻的状态如何混合。
- 更新门 (z_t): 控制多少旧状态信息被保留到下一个状态。
这些门控信号是通过 sigmoid 函数生成的，值域在 [0, 1] 之间。
1.3 公式详解
- 重置门: r t = σ ( W r x t + U r h t − 1 + b r ) r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r) rt=σ(Wrxt+Urht−1+br)
- 更新门: z t = σ ( W z x t + U z h t − 1 + b z ) z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z) zt=σ(Wzxt+Uzht−1+bz)
- 候选隐藏状态: h ~ t = tanh ( W h x t + U h ( r t ∘ h t − 1 ) + b h ) \tilde{h}_t = \tanh(W_h x_t + U_h (r_t \circ h_{t-1}) + b_h) h~t=tanh(W
