transformer的基础知识

embedded/2024/10/15 4:44:06/

transformer的基础知识

transformer网络结构图

在这里插入图片描述

seq2seq

一般Seq2seq会分成两部分：Encoder、Decoder。
在这里插入图片描述

Encoder

Transformer 中的 Encoder 就是用的 Self-attention。

在这里插入图片描述

encoder的内部结构
在这里插入图片描述

补充：block的内部结构主要由self-attention和全连接神经网络所构成。

在原来的论文中block的结构更加复杂。
在这里插入图片描述

现在就比较好理解了，

http://www.ppmy.cn/embedded/127692.html

个人博客搭建 | Hexo框架

文章目录 1.Hexo安装2.创建博客3.将博客通过GitHub来部署4.更换主题 1.Hexo安装 Hexo 是一个快速、简洁且高效的博客框架。Hexo 使用 Markdown（或其他标记语言）解析文章，在几秒内，即可利用靓丽的主题生成静态网页。搭建Hexo首先要…

成都睿明智科技有限公司抖音电商服务佼佼者

在当今这个数字化浪潮汹涌的时代，抖音电商以其独特的魅力迅速崛起，成为众多商家竞相追逐的新蓝海。而在这场电商盛宴中，专业的服务商如同灯塔一般，为迷茫的商家指引方向。今天，我们就来深入探讨一家备受瞩目的服务商—…

temp表空间的文件被误删，expdp导出查询都报错了？

处理方式：新加临时文件，删除旧临时文件（用文件号）即可解决。 oracletest:/home/oracle>expdp \/ as sysdba\ directoryEXPDIR dumpfiletest_meta1.dmp contentmetadata_only logfile5y-meta1.log fully Export: Release 11.…

数据结构编程实践20讲(Python版)—12树状数组

本文目录 12 树状数组(Binary Indexed Tree / Fenwick Tree)S1 说明S2 示例S3 问题1：二维树状数组的单点更新和区域求和S4 问题2：求解逆序数对S5 问题3：动态求解第 K 小（大）数S6 问题4：频率计数和排名查询S7 问题5：求解最长递增子序列问题往期链接 01 数组02 链表03 栈0…

进程相关及守护进程

一、进程 1.1 wait / waitpid 函数的使用 #include <sys/types.h> #include <sys/wait.h>pid_t wait(int *wstatus); 功能：阻塞等待子进程结束，为子进程回收资源参数：wstatus：子进程退出的状态--如果不关注&#x…

STT python

1. 安装所需库我们需要安装这两个库，在命令行中运行以下命令： pip install SpeechRecognition pyaudio2. 使用 SpeechRecognition 库 SpeechRecognition 是一个 Python 库，用于将语音转换为文本，以下是一个简单的示例&#xf…

什么是联邦学习

想象一下，你有很多朋友，每个人手里都有一些自己的秘密（数据），比如你的购物习惯、你的健身记录、你的阅读习惯等。这些秘密对你和你的朋友来说都很重要，你不想直接告诉其他人，但你又想从大家的信…

2024-10-14 商业分析-消费者权益维护和投诉相关-机械革命拒绝售后维修-记录

摘要: 考虑到商业环境基本都是各种坑蒙拐骗以次充好，在这个社会环境中，保护好自己的合法权益是重中之重。拒不进行售后行为: 机械革命投诉电话通话录音记录资源-CSDN文库 3815862机械革命电脑检测报告(2).pdf资源-CSDN文库消费者权益投诉平台: 一. 全…