目录

1. TransformerBlock

2. resnet

3. 替换部分卷积层

4. 在特定位置插入Transformer模块

5. 使用Transformer全局特征提取器

6. 其他

---

Tips：融入模块后的网络经过测试，可以直接使用，设置好输入和输出的图片维度即可

1. TransformerBlock

TransformerBlock是Transformer模型架构的基本组件，广泛应用于机器翻译、文本摘要和情感分析等自然语言处理任务。

TransformerBlock是一个由两个子组件组成的构建块：多头注意力机制和前馈神经网络。这两个组件协同工作，处理和转换输入序列。

多头注意力机制负责从输入序列中捕获上下文信息。它通过使用多个注意力头同时关注序列的不同部分来实现这一点。每个注意力头计算每个输入元素相对于其他元素的重要性，使模型能够专注于输入序列的不同方面。

然后将前馈神经网络应用于多头注意力机制的输出。它由两个线性层组成，中间有一个非线性激活函数。这有助于