LSTM——长短期记忆神经网络

news/2024/11/1 10:18:13/

目录

1.LSTM 工作原理

2.LSTM的代码实现

3.代码详解


        LSTM(Long Short-Term Memory)是一种特殊的循环神经网络(RNN),用于解决长序列中的长期依赖问题。它通过引入门机制,控制信息的流入、保留和输出,从而在避免梯度消失或爆炸的情况下捕获较长序列的依赖关系。以下是LSTM的工作原理和代码实现


1.LSTM 工作原理

        LSTM 通过引入 细胞状态(Cell State)门控单元(Gates) 来控制信息流动,具体包含以下几个部分:

  1. 遗忘门(Forget Gate)
    遗忘门决定了上一个时间步的细胞状态是否需要保留或遗忘。遗忘门通过一个 sigmoid 激活函数(输出在 0 和 1 之间)来控制。输入为当前输入 x_t 和上一个隐藏状态 h_{t-1}​:

    f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)
  2. 输入门(Input Gate)
    输入门决定当前时间步的新信息是否要更新到细胞状态中。它包含两个部分:

    • i_t:用于选择要添加的新信息。
    • \tilde{C}_t:候选细胞状态,通过 tanh 函数生成可能的新状态信息。
    i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)                          \tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)
  3. 细胞状态更新
    细胞状态结合了遗忘门和输入门的输出来更新:

    C_t = f_t \ast C_{t-1} + i_t \ast \tilde{C}_t
  4. 输出门(Output Gate)
    输出门控制 LSTM 的最终输出,即新的隐藏状态 h_t。它将新的细胞状态 C_t​ 调整后输出:

    o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)                                      h_t = o_t \ast \tanh(C_t)

2.LSTM的代码实现

        以下是使用 PyTorch 实现 LSTM 的代码示例:

python">import torch
import torch.nn as nn
import torch.optim as optim# 定义 LSTM 模型
class LSTMModel(nn.Module):def __init__(self, input_size, hidden_size, output_size, num_layers=1):super(LSTMModel, self).__init__()self.hidden_size = hidden_sizeself.num_layers = num_layersself.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)self.fc = nn.Linear(hidden_size, output_size)def forward(self, x):# 初始化隐藏状态和细胞状态h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)# 通过 LSTM 层out, _ = self.lstm(x, (h0, c0))# 获取最后一个时间步的输出out = self.fc(out[:, -1, :])return out# 定义模型参数
input_size = 10    # 输入维度
hidden_size = 20   # 隐藏层维度
output_size = 1    # 输出维度
num_layers = 2     # LSTM 层数# 初始化模型
model = LSTMModel(input_size, hidden_size, output_size, num_layers)# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)# 训练模型
num_epochs = 100
for epoch in range(num_epochs):# 假设输入数据 x 和标签 yx = torch.randn(32, 5, input_size)  # (batch_size, sequence_length, input_size)y = torch.randn(32, output_size)# 前向传播outputs = model(x)loss = criterion(outputs, y)# 反向传播和优化optimizer.zero_grad()loss.backward()optimizer.step()if (epoch+1) % 10 == 0:print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

3.代码详解

  • 输入数据:这里的 x 是一个三维张量,形状为 (批次大小, 序列长度, 输入维度),其中 序列长度 是 LSTM 模型需要捕获依赖的时间步。
  • 隐藏层和输出层:LSTM 输出的最后一个时间步的隐藏状态传递给全连接层 fc,用于输出预测结果。
  • 初始化状态:LSTM 层需要初始化隐藏状态 h0 和细胞状态 c0,这通常在每个新序列的起点进行。
  • 损失函数和优化器:使用均方误差损失函数(MSELoss)和 Adam 优化器来优化模型。

        通过调整输入、隐藏和输出维度,这种结构可以适用于各种时间序列预测、自然语言处理等任务。


http://www.ppmy.cn/news/1543552.html

相关文章

Spring Boot框架下校园社团信息管理的创新实践

2相关技术 2.1 MYSQL数据库 MySQL是一个真正的多用户、多线程SQL数据库服务器。 是基于SQL的客户/服务器模式的关系数据库管理系统,它的有点有有功能强大、使用简单、管理方便、安全可靠性高、运行速度快、多线程、跨平台性、完全网络化、稳定性等,非常…

练习LabVIEW第二十八题

学习目标: 刚学了LabVIEW,在网上找了些题,练习一下LabVIEW,有不对不好不足的地方欢迎指正! 第二十八题: 建立一个VI,模拟滚动—个骰子(骰子取值1~6),跟踪骰子滚动后的取值出现次数…

Router和route区别

Router和route在Vue.js框架中扮演着不同的角色,它们有着很大的区别: 一、定义与概念 1、Router: Vue Router是Vue.js官方提供的一种路由管理器,它是一个Vue.js插件。 Router用于管理应用程序的路由规则和状态,包括…

使双向链表的迭代器和vector一样支持加法和减法。

例子&#xff1a; int main() { vector<int> vec { 1,2,3,4,5,7,8,9 };auto n alg.find_binary_insert_pos(vec.begin(), vec.end(), 6);vec.insert(vec.begin() n, 6);_pn(vec);list<int> vec2 { 1,10,11,9,5 };for (auto& v : vec2) {//添加不存在的…

uniapp app.onshow 和 onMounted一样用吗

在uni-app中&#xff0c;onShow和onMounted并不完全相同&#xff0c;它们分别属于应用生命周期和组件生命周期。‌ 应用生命周期中的onShow 在uni-app中&#xff0c;onShow是应用生命周期的一部分&#xff0c;它会在应用启动或从后台进入前台时触发。这意味着它不仅仅局限于页…

Puppeteer 与浏览器版本兼容性:自动化测试的最佳实践

Puppeteer 支持的浏览器版本映射&#xff1a;从 v20.0.0 到 v23.6.0 自 Puppeteer v20.0.0 起&#xff0c;这个强大的自动化库开始支持与 Chrome 浏览器的无头模式和有头模式共享相同代码路径&#xff0c;为自动化测试带来了更多便利。从 v23.0.0 开始&#xff0c;Puppeteer 进…

Oracle 大表添加索引的最佳方式

背景&#xff1a; 业务系统中现在经常存在上亿数据的大表&#xff0c;在这样的大表上新建索引&#xff0c;是一个较为耗时的操作&#xff0c;特别是在生产环境的系统中&#xff0c;添加不当&#xff0c;有可能造成业务表锁表&#xff0c;业务表长时间的停服势必会影响正常业务…

MFC工控项目实例二十八模拟量信号每秒采集100次

用两个多媒体定时器&#xff0c;一个定时0.1秒计时&#xff0c;另一个定时0.01秒用来对模拟量信号采集每秒100次。 1、在SEAL_PRESSUREDlg.h中添加代码 class CSEAL_PRESSUREDlg : public CDialo { public:CSEAL_PRESSUREDlg(CWnd* pParent NULL); // standard constructor&a…