引入了窥视孔连接(peephole connections)的LSTM

news/2024/11/3 2:58:43/

引入了窥视孔连接(“peephole” connections)的LSTM

这张图详细地展示了一种长短期记忆网络(LSTM)的变体,即引入了窥视孔连接(“peephole” connections)的LSTM。窥视孔连接允许各个门直接访问细胞状态(cell state),从而在门控制决策过程中提供更多上下文信息。下面我将对此图进行详细、严谨且专业的解释,以揭示其逻辑和功能。

LSTM单元结构与窥视孔连接

LSTM网络的基本单元包括三个主要的门控制机制(输入门、遗忘门、输出门)和一个持久的细胞状态。这些组件协同工作,使LSTM能够捕获长期依赖性,同时避免传统递归神经网络中常见的梯度消失问题。

  1. 细胞状态 (( c t − 1 , c t , c t + 1 c^{t-1}, c^t, c^{t+1} ct1,ct,ct+1)):

    • 细胞状态是LSTM的核心,作为信息的主要载体,允许信息跨越多个时间步骤传递,而不仅仅是从一个步骤到下一个步骤。
  2. 窥视孔连接:

    • 窥视孔连接是本图的特色,它们允许门控制机制直接访问细胞状态,而不是仅依赖于前一隐藏状态和当前输入。这增强了网络的能力,使门控制可以根据细胞状态的直接观察做出更为精确的调整。

门控制的详细机制

  • 遗忘门 (( z f z^f zf)):

    • 决定从细胞状态中丢弃哪部分信息。它通过sigmoid激活函数处理,该函数考虑了当前输入、前一隐藏状态以及通过窥视孔连接的前一细胞状态。
  • 输入门 (( z i z^i zi)):

    • 决定将多少新信息加入到细胞状态中。这同样通过一个sigmoid函数和一个tanh函数来处理,前者决定更新的程度,后者生成新的候选值。
  • 输出门 (( z o z^o zo)):

    • 控制多少细胞状态的信息应输出为隐藏状态,这一过程也受到窥视孔连接的影响,使得输出门能够根据当前细胞状态的实际值调整输出。

计算流程

  1. 细胞状态更新:

    • 细胞状态的更新是通过结合输入门生成的新信息和遗忘门决定保留的旧信息来实现的。具体计算公式如下:
      [
      c t = f t × c t − 1 + i t × c ~ t c^t = f_t \times c^{t-1} + i_t \times \tilde{c}_t ct=ft×ct1+it×c~t
      ]
      其中,( f t f_t ft) 是遗忘门输出,( i t i_t it) 是输入门输出,( c ~ t \tilde{c}_t c~t) 是新信息的候选值。
  2. 输出生成:

    • 输出值由输出门控制,该门根据处理过的当前细胞状态(通过tanh激活)和输出门的sigmoid输出计算得到。
      [
      h t = o t × tanh ⁡ ( c t ) h^t = o_t \times \tanh(c^t) ht=ot×tanh(ct)
      ]
      其中,(o_t) 是输出门的输出。

总结

通过引入窥视孔连接,LSTM能够更加精确地控制信息流,因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能,尤其是在需要精细控制内部状态记忆的应用中,如复杂的序列预测和模式识别任务,也提高了决策过程的透明度和直观性。


http://www.ppmy.cn/news/1544038.html

相关文章

【毫米波雷达(三)】汽车控制器启动流程——BootLoader

汽车控制器启动流程——BootLoader 一、什么是Bootloader(BT)?二、FBL、PBL、SBL、ESS的区别三、MCU的 A/B分区的实现 一、什么是Bootloader(BT)? BT就是一段程序,一段引导程序。它包含了启动代码、中断、主程序等。 雷达启动需要由BT跳转到…

数据库存储过程的后端调用(SQLServer)

项目中使用到了SQL Server的存储过程,其位于可编程性-存储过程,详细如下。 其内需要四个入参,为表名,列名,左固定值,剩下右边的长度。 本项目中需要生成10位验收单编号,其中前六位为年月&#…

uni-app如何接收uni.$emit()里面传递的内容

方法一: 如果子组件使用跳转的方法 const navigateToRegion()>{ uni.navigateTo({ url: /pagesD/components/selpow/selpow }); } 中/pagesD/components/selpow/selpow传递uni.$emit(selectedLabels, checkedKeys.v…

PXC集群(Percona XtraDB Cluster )

一、简介 基于Galera Cluster技术的开源分布式数据库解决方案,它允许你在多个MySQL服务器之间创建一个同步的多主复制集群。 特点: * 多主复制架构: PXC集群支持多主复制,每个节点都可以同时读写数据,这使得应用程序可以更灵活地进行负载均衡和高可用性设置。* 同步复制:…

sin、cos、tan的关键值点、图像、零点

一、sin 关键值点 图像 重要性质 零点 特殊区间 二、cos 关键值点 图像 重要性质 零点 特殊区间 三、tan 关键值点 图像 重要性质 零点

posix timer使用入门

在c、c开发中,如果使用定时器,我们经常会使用posix timer。posix timer使用较为灵活,本文介绍posix timer的使用。 1example 如下是使用posix timer的一个例子。主要使用了3个api:timer_create用于创建一个timer,但是…

Word设置只读后,为什么还能编辑?

Word文档设置了只读模式,是可以编辑的,但是当我们进行保存的时候就会发现,word提示需要重命名并选择新路径才能够保存。 这种操作,即使可以编辑文字,但是原文件是不会受到影响的,编辑之后的word文件会保存到…

前端之html(二)加入css开篇(一)

1.lebal标签-增大点击范围 性别:<input type"radio" name"gender" id"man"><lebal for"man">男</lebal> <lebal><input type"radio" name"gender" id"nv">女</leba…