GRU神经网络理解

embedded/2024/10/24 7:10:51/

全文参考以下B站视频及《神经网络深度学习》邱锡鹏,侧重对GPU模型的理解,初学者入门自用记录,有问题请指正【重温经典】GRU循环神经网络 —— LSTM的轻量级版本,大白话讲解_哔哩哔哩_bilibili

更新门、重置门、学习与输出

注:一般来说,x_t 是在时间步 t 上的数值特征集合,比如股价预测模型中,x_t 是t时刻股价

这里为了理解,假设h_{t-1}是已有课程的学习笔记,x_t表明我们要学习机器学习这一课程

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程】

x_t = 【机器学习】

1.重置门:控制筛选,判断哪些是对于机器学习有用的笔记,参与本轮学习

高数、线代、概率论、Python编程与机器学习相关性较强,而音乐欣赏与之无关

r_t = 【0.5,0.9,0.6,0,1.0】,这个向量表示对机器学习的有用程度,之后与h_{t-1}相乘进行筛选

2.更新门:哪些内容是有用的需要保留到未来

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程

z_t = 【1,1,1,0,1】

我的理解(不知道对不对):重置门和更新门的计算方式类似,但神经网络训练参数不同。用处也不同,重置门用于参与本轮的学习,更新门用于判断哪些信息需要保留到未来。

3.学习

(1)r_th_{t-1}对应相乘,即

r_t = 【0.5,0.9,0.6,0,1.0】

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程】

r_t \cdot h_{t-1} = 【0.5高数,0.9线代,0.6概率论,0,Python编程】

(2)加入x_t,即

【0.5高数,0.9线代,0.6概率论,机器学习,Python编程】

(3)tanh相当于对以上笔记进行学习,学习的结果笔记用h_{t}^{'}表示

h_{t}^{'} = 【微积分,矩阵乘法,假设检验,决策树,Python】

4.输出

对于学习后的结果与之前的笔记具有重复性,所以需要删除重复内容。删除的依据就是1-z_t,即删除已确定有用的笔记。再与确定有用的笔记进行向量拼接。

h_{t-1}=【高数,线代,概率论,音乐欣赏,Python编程】

z_t = 【1,1,1,0,1】

h_{t-1}\cdot z_t = 【高数,线代,概率论,0,Python编程】

h_{t}^{'} = 【微积分,矩阵乘法,假设检验,决策树,Python】

1-z_t = 【0,0,0,1,0】

h_{t}^{'} \cdot (1-z_t) =  【0,0,0,决策树,0】

向量拼接

最终结果h_{t}=【高数,线代,概率论,决策树,Python】


http://www.ppmy.cn/embedded/130019.html

相关文章

Oracle 常见索引扫描方式概述,哪种索引扫描最快!

一.常见的索引扫描方式 INDEX RANGE SCANINDEX FAST FULL SCANINDEX FULL SCAN(MIN/MAX)INDEX FULL SCAN 二.分别模拟使用这些索引的场景 1.INDEX RANGE SCAN create table t1 as select rownum as id, rownum/2 as id2 from dual connect by level<500000; create inde…

.NET 9 - Static SSR pages in a globally-interactive app

1.简单介绍 .NET 9 Blazor 新增加的一个feature是在Interactive模式的Blazor站点中可以设定某个页面为Static SSR模式。 这边也简单尝试一下这个新的特性 2.具体说明 2.1 创建项目 1) 创建一个Blazor Web Assembly的项目&#xff0c; 2&#xff09;编辑App.razor <hea…

Burp Suite Professional 2024.9 for macOS x64 ARM64 - 领先的 Web 渗透测试软件

Burp Suite Professional 2024.9 for macOS x64 & ARM64 - 领先的 Web 渗透测试软件 世界排名第一的 Web 渗透测试工具包 请访问原文链接&#xff1a;https://sysin.org/blog/burp-suite-pro-mac/ 查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xff1…

腾讯云技术深度解析:构建高效云原生应用与数据安全管理

腾讯云技术深度解析&#xff1a;构建高效云原生应用与数据安全管理 在当今快速发展的技术环境中&#xff0c;云计算已经成为企业数字化转型的关键驱动力。腾讯云作为中国领先的云服务提供商&#xff0c;凭借其卓越的技术和创新能力&#xff0c;为企业提供了高效、可扩展的云原…

Leetcode—1117. H2O 生成【中等】(多线程)

2024每日刷题&#xff08;182&#xff09; Leetcode—1117. H2O 生成 C实现代码 class H2O { public:H2O() {sem_init(&hydrogenSem, 0, 1);sem_init(&oxygenSem, 0, 0);}~H2O() {sem_destroy(&hydrogenSem);sem_destroy(&oxygenSem);}void hydrogen(functio…

AnaTraf | 网络性能监控系统NPM:提升网络性能与业务连续性

AnaTraf 网络性能监控系统NPM | 全流量回溯分析 | 网络故障排除工具 网络系统非常复杂&#xff0c;管理和维护它们也越来越具有挑战性。为了确保网络性能和业务的持续稳定运行&#xff0c;IT运维团队需要对网络进行实时监控、优化和快速排查故障。本文将围绕网络性能监控系统&…

Kafka、Kafka Streams、Drools、Redis 和分布式数据库的风控系统程序

由于实时风控系统难度较大&#xff0c;集成框架设计各个单位均有特点&#xff0c;快速建立一个通用性较强&#xff0c;学习、实施和使用成本较低的框架尤其重要。 提供一个简化的 Java 程序示例&#xff0c;演示如何将 Kafka 消息中间件、Kafka Streams 计算引擎、Drools 规则…

Python画笔案例-085 绘制 3D效果文字

1、绘制3D效果文字 通过 python 的turtle 库绘制 3D效果文字,如下图: 2、实现代码 绘制 3D效果文字,以下为实现代码: """3D效果文字.py """ import turtle# 给Turtle类增加addx和addy方法 turtle.Turtle.addx = lambda self,dx