transformer 最简单学习3, 训练文本数据输入的形式

server/2024/9/25 13:16:56/

1、输入数据中,源数据和目标数据的定义

def get_batch(source,i):'''用于获取每个批数据合理大小的源数据和目标数据参数source 是通过batchfy   得到的划分batch个 ,的所有数据,并且转置列表示i第几个batch'''bptt = 15  #超参数,一次输入多少个batch 数据,现在数据矩阵,一行表示一个batch, 一共有n个行,  # len(source) - 1 - i  从大往小变化,知道小到bptt,所以seq_len,大部分时间都是bptt 个=15个,最后几个训练才越来越少seq_len = min(bptt, len(source) -1-i)  #一共是列的元素长度,30个,  行是10个,一共三个batch ,# 这是转置过的,现在,就变成30个batch,每个batch 长度是3# 行数错一位,目标数据是原数据向下一位,data = source[i:i+seq_len]# 这里最后会越界,使用view(-1) 保证形状正常target = source[i+1:i+1+seq_len]return data,target #

文本数据,是每个单词对应的索引,需要对数据进行切分成整块的batch, (n行,batch列), 变成竖着的,
(batch行,n列)
然后,横着一个一个 切分成一个个batch数据,下移一个索引获取目标数据,

(n行,batch列)

[A,B,C,D,E,F][G,H,I,J,K,L][M,N,O,P,Q,R],……】

(batch行,n列)
在这里插入图片描述

横着看,每一位 AGMS 对应 BHNT, AB, GH, MN, ST, 是相邻的两个字
在这里插入图片描述


http://www.ppmy.cn/server/17436.html

相关文章

深入探索CSS中的渐变艺术:线性渐变、径向渐变与锥形渐变详解

CSS3引入了多种渐变效果,使网页设计师能够在网页元素上实现平滑、连续的颜色过渡,大大丰富了视觉表达手段。在这篇文章中,我们将详细解读CSS3中的三种核心渐变类型:线性渐变(Linear Gradients)、径向渐变&a…

C#中的Task:异步编程的瑞士军刀

在现代软件开发中,异步编程已经成为处理I/O密集型任务和网络操作的重要手段。C#中的Task是.NET Framework 4.0引入的一个并发编程的抽象,它在后续的.NET Core和.NET 5中得到了进一步的发展和完善。Task代表了一个异步操作,可以等待它的完成&a…

TCP三次握手

前置知识:TCP报文格式 解释: 三次握手 三次握手过程 一开始,客户端和服务端都处于“CLOSE”状态,服务端首先进行端口监听,进入“LISTEN“状态 第一次:客户端向服务端发送一个建立连接的请求,T…

区块链技术与应用学习笔记(10-11节)——北大肖臻课程

目录 10.分岔 ①什么是分叉? ②导致分叉的原因? ③在比特币新共识规则发布会会导致什么分叉? 什么是硬分叉? 硬分叉例子? 什么是软分叉? 软分叉和硬分叉区别? 软分叉实例 11.问答 转…

汽车组装3D电子说明书更通俗易懂

激光打印机由于造价高、技术更先进,因此在使用和维护上需要更专业的手法,而对于普通客户来说并不具备专业操作激光打印机的技能,为了通俗易懂地让客户理解激光打印机,我们为企业定制了激光打印机3D产品说明书,将为您带…

【TensorFlow深度学习】深度学习的独特优势及应用场景概览

人工智能绪论与深度学习前瞻 【引言】深度学习的独特优势深度学习在各大应用场景中的展现 【引言】 深度学习,作为机器学习领域的一种强大的技术手段,凭借其卓越的自动特征学习能力和优异的模型泛化能力,在当今的人工智能发展中占据着至关重…

C++进阶:搜索树

目录 1. 二叉搜索树1.1 二叉搜索树的结构1.2 二叉搜索树的接口及其优点与不足1.3 二叉搜索树自实现1.3.1 二叉树结点结构1.3.2 查找1.3.3 插入1.3.4 删除1.3.5 中序遍历 2. 二叉树进阶相关练习2.1 根据二叉树创建字符串2.2 二叉树的层序遍历I2.3 二叉树层序遍历II2.4 二叉树最近…

Pycharm破解流程

1.下载pycharm 网上很多,随便找一个,懒得找的话,或者去我传上去的资源pycharm部分直接取 2.下载文件 文件部分,我放在pycharm文件里面一起 打开下载好的激活包 3.执行脚本 先执行unisntall-all-users.vbs,直接双击打开&#xff0c…