RNN（循环神经网络，Recurrent Neural Network）是一种专门处理序列数据的神经网络架构，在Transformer出现之前曾是处理文本、时间序列等任务的主流模型。它的核心特点是能够通过循环结构保留历史信息。

---

RNN的核心机制

1. 循环处理：

   • 每个时间步接收当前输入 + 上一个时间步的隐藏状态
   • 伪代码表示：

     hidden_state = activation(W_input * current_input + W_recurrent * previous_hidden_state + bias)
     

2. 记忆能力：

   • 通过隐藏状态（hidden state）传递历史信息，适合处理如句子生成、股票预测等任务

---

典型应用场景

场景	示例
文本生成	逐字生成古诗
机器翻译（早期）	英文→中文逐词翻译
时间序列预测	股票价格走势预测

---

RNN的局限性

1. 梯度消失/爆炸：

   • 处理长文本时（如超过50个词），早期信息会逐渐丢失
   • 示例：在生成100字的故事时，后半段可能偏离初始设定

2. 串行计算效率低：

   • 必须按顺序处理序列，无法利用GPU并行加速

---

与Transformer的对比

特性	RNN	Transformer
计算方式	串行处理	并行计算
长距离依赖	最大约50词	可处理数千词
训练速度	1倍（基准）	10倍以上更快
典型代表	LSTM、GRU	BERT、GPT

---

现代技术演进

1. 改进版RNN：

   • LSTM（长短期记忆网络）：通过门控机制缓解梯度消失

     # LSTM单元结构示例
     forget_gate = sigmoid(W_f * [h_prev, x_t] + b_f)
     input_gate = sigmoid(W_i * [h_prev, x_t] + b_i)
     output_gate = sigmoid(W_o * [h_prev, x_t] + b_o)
     

   • GRU（门控循环单元）：简化版LSTM，参数更少

2. 当前地位：

   • 在实时流数据处理（如语音识别）中仍有应用
   • 大部分NLP任务已被Transformer取代

---

实践建议

1. 何时需要了解RNN：

   • 维护遗留系统（如2018年前的聊天机器人）
   • 学习模型演进历史时

2. 快速体验RNN（使用PyTorch）：

   import torch.nn as nn
   rnn = nn.RNN(input_size=10, hidden_size=20, num_layers=2)
   input = torch.randn(5, 3, 10)  # (序列长度, batch大小, 输入维度)
   output, hn = rnn(input)
   

虽然RNN已不是大模型的首选，但理解其原理有助于把握技术发展脉络。实际开发中，除非处理特殊场景，建议优先使用Transformer架构。