AI学习记录 - decoder层如何与ecoder层结合

ops/2024/9/24 18:30:06/

接下来讲的如下 decoder层如何与ecoder层怎么使用注意力机制结合的

在这里插入图片描述

公式为:

在这里插入图片描述

先生成掩码,然后把随机权重放进去,重点是这个掩码形状是固定的,负无穷大动态生成的,因为用户输入的句子长度不固定,有空余的位置我们需要填充 [PAD], [PAD], 都是负无穷大,下面红色交叉都设置成[PAD]

将encoder的output的语义按照 权重 叠加到 START 和 h 上面,每次decoder的第一个token都是 START,固定的.

得出新的矩阵,叠加上了输入词: abcd[PAD][PAD] 的语义,每一行都是新的词向量

在这里插入图片描述


http://www.ppmy.cn/ops/95947.html

相关文章

FPGA中BootROM的作用

传统的BootROM过程,特别是在嵌入式系统和Zynq SoC等复杂芯片中,是一个至关重要的启动阶段。以下是该过程的一般步骤和原理: 一、BootROM的定义与功能 BootROM(Boot Read-Only Memory)是固化在芯片内部(如Z…

05创建型设计模式——原型模式

一、原型模式简介 原型模式(Prototype Pattern)模式是一种对象创建型模式,它采取复制原型对象的方法来创建对象的实例。使用原型模式创建的实例,具有与原型一样的数据。 1)由原型对象自身创建目标对象。换句话说&…

【Java】什么是 FileInputStream

我听见有人猜 你是敌人潜伏的内线 和你相知多年 我确信对你的了解 你舍命救我画面 一一在眼前浮现 司空见惯了鲜血 你忘记你本是娇娆的红颜 感觉你我彼此都那么依恋 🎵 许嵩《内线》 在 Java 中,FileInputStream 是最常用的文件输入…

Ruby在嵌入式系统:轻量级语言的灵活应用

标题:Ruby在嵌入式系统:轻量级语言的灵活应用 摘要 在嵌入式系统开发领域,编程语言的选择至关重要,它直接影响到系统的性能、内存占用以及开发效率。Ruby,作为一种灵活且富有表现力的语言,其在嵌入式系统…

spring IOC

一、Spring框架的理解 Spring 框架是一款轻量级的开发框架,核心思想是 IOC(控制反转)和AOP(面向切面编程),为Java应用程序开发开发提供组件管理服务,用于组件之间的解耦,以及简化第三方JavaEE中间技术的使用(JMS,任务调度&#x…

神经网络中Linear、MLP和FC的定义和区别

神经网络是一种计算模型,它受人脑的启发,可以从数据中学习并作出预测或决策。神经网络由多个神经元组成,这些神经元通过加权连接进行交互。下面是对Linear、MLP和FC这三个术语的定义和区别: Linear (线性层): 线性层是神经网络中最…

【Electron】npm安装Electron项目失败报错问题和解决办法

前言 闲来无事,便想着研究一下Electron,没想到安装直接就卡住了 问题 npm ERR! RequestError: Hostname/IP does not match certificates altnames: Host: npm.taobao.org. is not in the certs altnames: DNS:*.tbcdn.cn, DNS:*.taobao.com, DNS:*.al…

C#变量与常量

变量 一个变量只不过是一个供程序操作的存储区的名字。 在 C# 中,变量是用于存储和表示数据的标识符,在声明变量时,您需要指定变量的类型,并且可以选择性地为其分配一个初始值。 在 C# 中,每个变量都有一个特定的类…