---

1. RNN 的结构概述

RNN 的核心是一个循环单元，它在每个时间步接收两个输入：

1. 当前时间步的输入数据 $x_t$（例如词向量）。
2. 上一个时间步的隐藏状态 $h_{t-1}$。

然后，RNN 会输出：

1. 当前时间步的隐藏状态 $h_t$（传递给下一个时间步）。
2. 当前时间步的输出 $o_t$（通常用于预测任务）。

---

2. 数学公式

2.1 RNN 的隐藏状态计算

$$h_t=\text{tanh}(W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{t-1}+b_{hh})$$

2.2 全连接层的输出计算

$$o_t=W_{ho}{h}_t+b_{ho}$$

其中：

• $x_t$：当前时间步的输入（向量）。
• $h_{t-1}$：上一个时间步的隐藏状态（向量）。
• $h_t$：当前时间步的隐藏状态（向量）。
• $o_t$：当前时间步的输出（向量）。
• $W_{ih}$：输入到隐藏层的权重矩阵。
• $W_{hh}$：隐藏层到隐藏层的权重矩阵。
• $W_{ho}$：隐藏层到输出层的权重矩阵。
• $b_{ih}$ 和 $b_{hh}$：隐藏层的偏置项。
• $b_{ho}$：输出层的偏置项。

---

3. 数据的流动

3.1 输入数据 $x_t$

• 形状：[input_dim]。
• 例如，input_dim=100，表示输入是一个 100 维的向量。

3.2 隐藏状态 $h_{t-1}$

• 形状：[hidden_dim]。
• 例如，hidden_dim=256，表示隐藏状态是一个 256 维的向量。

3.3 权重矩阵

• $W_{ih}$：形状为 [hidden_dim, input_dim]。
  • 将输入 $x_t$ 从 input_dim 映射到 hidden_dim。
• $W_{hh}$：形状为 [hidden_dim, hidden_dim]。
  • 将隐藏状态 $h_{t-1}$ 从 hidden_dim 映射到 hidden_dim。
• $W_{ho}$：形状为 [output_dim, hidden_dim]。
  • 将隐藏状态 $h_t$ 从 hidden_dim 映射到 output_dim。

3.4 偏置项

• $b_{ih}$ 和 $b_{hh}$：形状为 [hidden_dim]。
• $b_{ho}$：形状为 [output_dim]。

3.5 计算过程

1. 计算 $W_{ih}{x}_t$：
   • 输入 $x_t$ 的形状是 [input_dim]。
   • 权重 $W_{ih}$ 的形状是 [hidden_dim, input_dim]。
   • 结果是 [hidden_dim]。
2. 计算 $W_{hh}{h}_{t-1}$：
   • 隐藏状态 $h_{t-1}$ 的形状是 [hidden_dim]。
   • 权重 $W_{hh}$ 的形状是 [hidden_dim, hidden_dim]。
   • 结果是 [hidden_dim]。
3. 相加：
   • $W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{t-1}+b_{hh}$ 的结果形状是 [hidden_dim]。
4. 应用激活函数：
   • $\text{tanh}$ 是逐元素操作的，不会改变形状。
   • 最终结果 $h_t$ 的形状是 [hidden_dim]。
5. 计算全连接层的输出 $o_t$：
   • 输入 $h_t$ 的形状是 [hidden_dim]。
   • 权重 $W_{ho}$ 的形状是 [output_dim, hidden_dim]。
   • 结果是 [output_dim]。

---

4. 具体例子

假设：

• input_dim=100（输入维度为 100）。
• hidden_dim=256（隐藏层维度为 256）。
• output_dim=10（输出维度为 10，例如 10 分类任务）。
• 输入 $x_t$ 是一个 100 维的向量。
• 隐藏状态 $h_{t-1}$ 是一个 256 维的向量。

4.1 输入 $x_t$

• 形状：[100]。
• 例如：$x_t=[x_1,x_2,\dots ,x_{100}]$。

4.2 隐藏状态 $h_{t-1}$

• 形状：[256]。
• 例如：$h_{t-1}=[h_1,h_2,\dots ,h_{256}]$。

4.3 权重矩阵

• $W_{ih}$：形状为 [256, 100]。
  • 例如：
    $$W_{ih}=\left[\begin{array}{cccc}{w}_{11}& w_{12}& \dots & w_{1,100}\\ w_{21}& w_{22}& \dots & w_{2,100}\\ ⋮& ⋮& \ddots & ⋮\\ w_{256,1}& w_{256,2}& \dots & w_{256,100}\end{array}\right]$$
• $W_{hh}$：形状为 [256, 256]。
  • 例如：
    $$W_{hh}=\left[\begin{array}{cccc}{w}_{11}& w_{12}& \dots & w_{1,256}\\ w_{21}& w_{22}& \dots & w_{2,256}\\ ⋮& ⋮& \ddots & ⋮\\ w_{256,1}& w_{256,2}& \dots & w_{256,256}\end{array}\right]$$
• $W_{ho}$：形状为 [10, 256]。
  • 例如：
    $$W_{ho}=\left[\begin{array}{cccc}{w}_{11}& w_{12}& \dots & w_{1,256}\\ w_{21}& w_{22}& \dots & w_{2,256}\\ ⋮& ⋮& \ddots & ⋮\\ w_{10,1}& w_{10,2}& \dots & w_{10,256}\end{array}\right]$$

4.4 偏置项

• $b_{ih}$ 和 $b_{hh}$：形状为 [256]。
  • 例如：$b_{ih}=[b_1,b_2,\dots ,b_{256}]$。
• $b_{ho}$：形状为 [10]。
  • 例如：$b_{ho}=[b_1,b_2,\dots ,b_{10}]$。

4.5 计算过程

1. 计算 $W_{ih}{x}_t$：
   $$W_{ih}{x}_t=\left[\begin{array}{c}{w}_{11}{x}_1+w_{12}{x}_2+\cdots +w_{1,100}{x}_{100}\\ w_{21}{x}_1+w_{22}{x}_2+\cdots +w_{2,100}{x}_{100}\\ ⋮\\ w_{256,1}{x}_1+w_{256,2}{x}_2+\cdots +w_{256,100}{x}_{100}\end{array}\right]$$
   结果是一个 256 维的向量。

2. 计算 $W_{hh}{h}_{t-1}$：
   $$W_{hh}{h}_{t-1}=\left[\begin{array}{c}{w}_{11}{h}_1+w_{12}{h}_2+\cdots +w_{1,256}{h}_{256}\\ w_{21}{h}_1+w_{22}{h}_2+\cdots +w_{2,256}{h}_{256}\\ ⋮\\ w_{256,1}{h}_1+w_{256,2}{h}_2+\cdots +w_{256,256}{h}_{256}\end{array}\right]$$
   结果是一个 256 维的向量。

3. 相加：
   $$W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{t-1}+b_{hh}$$
   结果是一个 256 维的向量。

4. 应用激活函数：
   $$h_t=\text{tanh}(W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{t-1}+b_{hh})$$
   结果是一个 256 维的向量。

5. 计算全连接层的输出 $o_t$：
   $$o_t=W_{ho}{h}_t+b_{ho}$$
   其中：

   • $W_{ho}$ 的形状是 [10, 256]。
   • $h_t$ 的形状是 [256]。
   • 结果是 [10]。

   例如：
   $$o_t=\left[\begin{array}{c}{w}_{11}{h}_1+w_{12}{h}_2+\cdots +w_{1,256}{h}_{256}\\ w_{21}{h}_1+w_{22}{h}_2+\cdots +w_{2,256}{h}_{256}\\ ⋮\\ w_{10,1}{h}_1+w_{10,2}{h}_2+\cdots +w_{10,256}{h}_{256}\end{array}\right]$$
   结果是一个 10 维的向量。

---

5. 总结

• 数据：
  • 输入 $x_t$：形状为 [input_dim]。
  • 隐藏状态 $h_{t-1}$：形状为 [hidden_dim]。
  • 输出 $o_t$：形状为 [output_dim]。
• 权重：
  • $W_{ih}$：形状为 [hidden_dim, input_dim]。
  • $W_{hh}$：形状为 [hidden_dim, hidden_dim]。
  • $W_{ho}$：形状为 [output_dim, hidden_dim]。
• 偏置：
  • $b_{ih}$ 和 $b_{hh}$：形状为 [hidden_dim]。
  • $b_{ho}$：形状为 [output_dim]。

通过以上步骤，RNN 在每个时间步将输入 $x_t$ 和隐藏状态 $h_{t-1}$ 转换为新的隐藏状态 $h_t$，并通过全连接层得到输出 $o_t$。

---