机器学习和深度学习-- 李宏毅（笔记与个人理解）Day22

embedded/2024/9/24 2:21:41/

Day 22 Transformer

seqence to seqence

有什么用呢？

image-20240419195409787

image-20240419200600208

image-20240419200618184

image-20240419200655869

image-20240419200714492

Encoder

image-20240419200811528

image-20240419200929890

image-20240419201816447

image-20240419201856942
how Block workimage-20240419202000619

仔细讲讲Residual 的过程？

重构

image-20240419202016784

image-20240419202055831

Decoder - AutoRegressive

image-20240419202814089

image-20240419203026310

image-20240419203044694

image-20240419203125676

Mask

image-20240419203147941

image-20240419203210758

image-20240419203323124

由于是文字接龙，所以无法考虑右边的 info

image-20240419203435098

image-20240419203445328

image-20240419203517384

image-20240419203607549

image-20240419203641245
另一种decoder

image-20240419204034186

Encoder to Decoder – Cross Attend

image-20240419204156788

image-20240419204337308

image-20240419204606629

怀疑begin那里没有做 Norm是bug

image-20240419204911428

image-20240419205003779

Training

image-20240419205022013

image-20240419205132661

很像分类的问题

image-20240419205223059

image-20240419205257761

Teacher Forcing ： using the ground truth as input

Tips

image-20240419205454295

image-20240419205509670

image-20240419205543623

image-20240419205805744

how to resolve that?

image-20240419213753968
image-20240419214526024

image-20240419214840792

image-20240419215040489

image-20240419215130167

image-20240419215205131

image-20240419215259187


http://www.ppmy.cn/embedded/13017.html

相关文章

图像处理|关于二维傅里叶变换的学习笔记（实用版）

图像处理|关于二维傅里叶变换的学习笔记（实用版）

因为图像至少是2D的，所以在数字图像处理中使用的都是2D-傅里叶变换。 1.什么是傅里叶变换(DFT)？傅里叶变换是将图像从空间域转换到频域，其逆变换是将图像从频域转到空间域。 物理意义是： 2.频谱图怎么看？傅里叶频谱图…
阅读更多...
Linux中的高级IO函数（三）fcntl

Linux中的高级IO函数（三）fcntl

Linux提供了很多高级的I/O函数。它们并不像Linux基础I/O函数（比如open和read）那么常用（编写内核模块时一般要实现这些I/O函数），但在特定的条件下却表现出优秀的性能。这些函数大致分为三类： 用于创建文件描…
阅读更多...
用户中心 -- 插件使用 插件使用思路

用户中心 -- 插件使用 插件使用思路

易错注意点 1 5.1启动类 & 入口类 需保持一致 网址： 第一节课，用户管理--后端初始化，项目调通。二次翻工2-CSDN博客 一、 用户管理 框架 网址： 用户管理 --汇总 -- 明细-CSDN博客 1.2 更改路径，并生效 网址…
阅读更多...
互联网轻量级框架整合之MyBatis动态SQL

互联网轻量级框架整合之MyBatis动态SQL

MyBatis的动态SQL是一项强大且实用的功能，它允许开发者在XML映射文件中编写可灵活变化的SQL语句，这些语句能够根据传入参数的条件或值动态地调整其结构和内容。这样，程序可以在运行时生成适应特定业务场景的SQL，避免了手动拼接SQL…
阅读更多...
Linux SDIO-WiFi 协议栈

Linux SDIO-WiFi 协议栈

Linux SDIO-WiFi 协议栈 1. 简介2. BCMDHD2.1 WiFi模组2.2 驱动初始化（dhd_module_init） 3. Broadcom fullmac WLAN 1. 简介 2. BCMDHD BCMDHD：Broadcom Dongle Host DriverSIP：System In Package 2.1 WiFi模组 2.2 驱动初始化…
阅读更多...
基于卷积神经网络的垃圾图像分类系统研究与实现

基于卷积神经网络的垃圾图像分类系统研究与实现

1.摘要 垃圾分类作为资源回收利用的重要环节之一, 可以有效地提高资源回收利用效率, 进一步减轻环境污染带来的危害. 随着现代工业逐步智能化, 传统的图像分类算法已经不能满足垃圾分拣设备的要求. 本文提出一种基于卷积神经网络的垃圾图像分类模型 (Garbage Classification Ne…
阅读更多...
Pyside6：多行按钮点击判断序号

Pyside6：多行按钮点击判断序号

在Pyside开发过程中会遇到这么个问题：当多个按钮在很多行中，需要在点击槽函数中确认按钮的行。 普通的按钮点击信号如下： clicked() 该信号并未有任何参数，无法得到有效的信息，那么如何完成点击哪个确定是哪个按钮呢…
阅读更多...
激励与约束的协同效应—人力资源管理的新趋势

激励与约束的协同效应—人力资源管理的新趋势

随着全球经济一体化的深入发展，企业间的竞争愈发激烈，人力资源作为企业最宝贵的资源之一，其管理的重要性日益凸显。在这样的背景下，激励与约束的协同效应成为了人力资源管理的新趋势，它不仅能够提高员工的工作积极性&a…
阅读更多...
最新文章

Copyright @ 2022~2023