打造完整 Transformer 编码器:逐步实现高效深度学习模块

news/2024/11/14 23:58:26/

11. encoder

打造完整 Transformer 编码器:逐步实现高效深度学习模块

在深入理解了编码器块的核心结构后,下一步就是实现一个完整的 Transformer 编码器。该编码器将输入序列转换为高级语义向量,并为后续的解码或其他任务模块提供高质量的特征表示。今天我们将详细解析编码器的每一部分,并附上代码示例,助你轻松掌握 Transformer 的编码器构建。


Transformer 编码器的主要组成部分

一个完整的 Transformer 编码器通常包含以下几个步骤:

  1. 输入嵌入层(Embedding Layer):将输入的词索引转换为高维向量表示。
  2. 位置编码(Positional Encoding):为每个词加上位置信息,使模型能够捕捉词序关系。
  3. 多个编码器块(Encoder Blocks):编码器块堆叠以提取深层次特征,通常包括 6-12 层,视任务而定。
  4. 输出:编码器最终输出的特征向量,将传递给解码器或下游任务模块。

实现完整的 Transformer 编码器类

以下代码实现了一个 TransformerEncoder 类,其中包含输入嵌入、位置编码、多个编码器块和 Dropout 层:

python">import torch
import torch.nn as nn
import mathclass PositionalEncoding(nn.Module):def __init__(self, embed_size, max_length=100):super(PositionalEncoding, self).__init__()self.encoding = torch.zeros(max_length, embed_size)position = torch.arange(0, max_length, dtype=torch.float).unsqueeze(1)div_term = torch.exp(torch.arange(0, embed_size, 2).float() * (-math.log(10000.0) / embed_size))self.encoding[:, 0::2] = torch.sin(position * div_term)self.encoding[:, 1::2] = torch.cos(position * div_term)self.encoding = self.encoding.unsqueeze(0)  # Shape: (1, max_length, embed_size)def forward(self, x):return x + self.encoding[:, :x.size(1), :].to(x.device)class TransformerEncoder(nn.Module):def __init__(self, src_vocab_size, embed_size, num_layers, heads, forward_expansion, dropout, max_length):super(TransformerEncoder, self).__init__()# 输入嵌入层self.word_embedding = nn.Embedding(src_vocab_size, embed_size)self.position_encoding = PositionalEncoding(embed_size, max_length)# 堆叠编码器层self.layers = nn.ModuleList([EncoderBlock(embed_size, heads, forward_expansion, dropout) for _ in range(num_layers)])# Dropout 层self.dropout = nn.Dropout(dropout)def forward(self, x, mask):# 1. 添加词嵌入和位置编码out = self.word_embedding(x)out = self.position_encoding(out)out = self.dropout(out)# 2. 逐层通过编码器块for layer in self.layers:out = layer(out, mask)return out

代码解析:逐步了解 Transformer 编码器

1. 输入嵌入和位置编码

python">self.word_embedding = nn.Embedding(src_vocab_size, embed_size)
self.position_encoding = PositionalEncoding(embed_size, max_length)
  • word_embedding:将输入的词(以整数索引表示)转换成嵌入向量。
  • position_encoding:为每个词嵌入向量加上位置编码,帮助模型识别词的顺序。

2. 堆叠多个编码器块

python">self.layers = nn.ModuleList([EncoderBlock(embed_size, heads, forward_expansion, dropout) for _ in range(num_layers)]
)
  • 使用 ModuleList 创建多个 EncoderBlock。每个 EncoderBlock 包含多头自注意力层、前馈神经网络层、残差连接和正则化。
  • num_layers 控制编码器块的数量。通常的设置是 6 层,但可以根据任务需求进行调整。

3. Dropout 层

python">self.dropout = nn.Dropout(dropout)
  • 使用 Dropout 增强泛化能力,通过随机丢弃一些神经元的输出来防止过拟合。

前向传播过程解析

  1. 词嵌入和位置编码

    python">out = self.word_embedding(x)
    out = self.position_encoding(out)
    out = self.dropout(out)
    • 将输入序列转换为嵌入向量。
    • 添加位置编码,保留输入序列的顺序信息。
    • 使用 Dropout 防止过拟合。
  2. 通过编码器块层层提取特征

    python">for layer in self.layers:out = layer(out, mask)
    • 将嵌入后的输出依次传递给每一个编码器块。
    • mask 参数用于在注意力机制中屏蔽掉填充符(padding)等不相关部分,避免模型关注无关信息。

测试 Transformer 编码器

为了确保我们的编码器可以正常工作,编写一些简单的测试代码:

python"># 设置测试参数
src_vocab_size = 10000  # 假设词汇表大小
embed_size = 512
num_layers = 6
heads = 8
forward_expansion = 4
dropout = 0.1
max_length = 100
seq_length = 20
batch_size = 2# 输入序列
x = torch.randint(0, src_vocab_size, (batch_size, seq_length))  # (batch_size, seq_length)
mask = None  # 暂不使用 mask# 实例化 Transformer 编码器并进行前向传播
encoder = TransformerEncoder(src_vocab_size, embed_size, num_layers, heads, forward_expansion, dropout, max_length)
out = encoder(x, mask)print("编码器的输出形状:", out.shape)  # 预期输出: (batch_size, seq_length, embed_size)
  • 输出形状(batch_size, seq_length, embed_size),例如 (2, 20, 512)

接下来的步骤

  1. 实现解码器块(Decoder Block)
    • 解码器块和编码器类似,但会增加编码器-解码器注意力层,用于从编码器的输出中提取信息。
  2. 实现完整的解码器(Decoder)
    • 将多个解码器块堆叠,构成完整的解码器结构。
  3. 组装完整的 Transformer 模型
    • 结合编码器和解码器,实现完整的 Transformer 模型。

通过这篇文章,我们构建了一个完整的 Transformer 编码器,并了解了编码器的每个模块如何协同工作以提取输入序列的深层次特征。希望这些知识帮助你在 Transformer 的实现和理解上更进一步!如果你对解码器或 Transformer 其他部分感兴趣,欢迎继续阅读或留言讨论!


http://www.ppmy.cn/news/1546250.html

相关文章

随机采样之接受拒绝采样

之前提到的逆变换采样(Inverse Transform Sampling)是一种生成随机样本的方法,它利用累积分布函数(CDF)的逆函数来生成具有特定分布的随机变量。以下是逆变换采样的缺点: 计算复杂性:对于某些分…

PyQt5

基于PyQt5的重绘机制实现加载页面 效果预览代码说明控件初始化超时回调重绘事件缩放事件 代码获取 效果预览 直接看图,效果展现为跟随黑点顺时针转动,且有明暗变化 代码说明 控件初始化 initUI主要用于初始化用户界面(UI)。它创建了一个具有特定样式…

scala set训练

Set实训内容: 1.创建一个可变Set,用于存储图书馆中的书籍信息(假设书籍信息用字符串表示),初始化为包含几本你喜欢的书籍 2.添加两本新的书籍到图书馆集合中,使用操作符 3.删除一本图书馆集合中的书籍&…

Linux——入门

前言:大佬写博客给别人看,菜鸟写博客给自己看,我是菜鸟 本篇涵盖: ①:初识Linux基础指令以及用法(只谈常用的) ②:补足一些有关Linux的常识 一、Linux基础指令及用法 容易记住的: ls-la&#x…

银行归属地查询API接口有哪些好处?

随着银行卡信息的重要性日益凸显,安全性和隐私保护将成为银行卡归属地查询 API 接口发展的重点。日益进步的加密技术、身份认证技术和不断完善的相关法律法规都在促进 API 接口提供商加强对用户隐私的保护,规范数据的使用和共享行为。 且随着全球经济的…

传统媒体终端移动化发展新趋势:融合开源 AI 智能名片与 S2B2C 商城小程序的创新探索

摘要:本文围绕传统媒体在新媒体环境下终端移动化的发展展开论述。阐述了传统媒体终端移动化的现状、“三网融合”带来的技术保障以及智能终端和移动互联网技术对其转型的推动作用。进一步探讨将开源 AI 智能名片和 S2B2C 商城小程序融入传统媒体终端移动化发展的创新…

NoSQL大数据存储技术测试(2)NoSQL数据库的基本原理

写在前面:未完成测试的同学,请先完成测试,此博文供大家复习使用,(我的答案)均为正确答案,大家可以放心复习 单项选择题 第1题 NoSQL的主要存储模式不包括 键值对存储模式 列存储模式 文件…

拓扑学与DNA双螺旋结构的奇妙连接:从算法到分子模拟

拓扑的形变指的是通过连续地拉伸、弯曲或扭曲物体而不进行撕裂或粘合来改变其形状的一种数学变换。拓扑形变属于拓扑学的一个分支,研究在这些操作下保持不变的性质。简单来说,它关注的是物体“形状的本质”,而不是具体的几何形状。 拓扑形变…