Transformer 模型框架源自2017年论文 《Attention is All You Need》

Self-Attention

1、Transformer 结构

Transformer 整体框架由 Encoder 和 Decoder 组成，本质上是 Self-Attention 模型的叠加。

2、Encoder

Encoder 的主要作用是让机器更清楚的了解到句子中词的特征，或词与词的关系（图就表现在像素上）。Encoder 模型中通过输入词向量 ，输出新的词向量。

POSITIONAL ENCODING：让词向量蕴含词的相对位置信息。
残差结构的作用：避免出现梯度消失的情况。
Layer Norm 的作用：为了保证数据特征分布的稳定性，并且可以加速模型的收敛。

3、Decoder

Decoder 的主要作用根据 Encoder 了解到词的特征，预测新的词。

Decoder 中的 Self-Attention 采用 Masked Self-Attention ，在翻译上体现在已经翻译的结果将会对下一个要翻译的词都会有一定的贡献。

4、Transformer 工作流程

以翻译 “我是学生” 将德语翻译为英语为例：

题外话：第一性原理、本质