前言

预训练模型给下游任务带来的效果不言而喻，有了预训练模型，我们可以使用它来加速解决问题的过程。正如论文中所说的那样，预训练模型（PTMs）的出现将自然语言处理（NLP）带入了一个新时代。本篇论文基于分类从四个角度对现有PTMs进行系统分类，描述如何使PTMs的知识适应下游任务，然后概述了PTMs未来研究的一些潜在方向，通过本篇综述，来学习了解相关预训练模型。

背景

• 第一代 PTMs 旨在学习词嵌入，由于下游的任务不再需要这些模型的帮助，因此为了计算效率，它们通常采用浅层模型，如 Skip-Gram 和 GloVe。尽管这些经过预训练的嵌入向量也可以捕捉单词的语义，但它们却不受上下文限制，只是简单地学习「共现词频」。这样的方法明显无法理解更高层次的文本概念，如句法结构、语义角色、指代等等。
• 第二代 PTMs 专注于学习上下文的词嵌入，如 CoVe、ELMo、OpenAI GPT 以及 BERT。它们会学习更合理的词表征，这些表征囊括了词的上下文信息，可以用于问答系统、机器翻译等后续任务。另一层面，这些模型还提出了各种语言任务来训练 PTMs ，以便支持更广泛的应用，因此它们也可以称为预训练语言模型。

下图说明了NLP的通用神经体系结构，词嵌入有两种：Non-contextual Embeddings（非上下文嵌入）和Contextual Embeddings（上下文嵌入）。它们之间的区别在于，单词的嵌入是否根据出现的上下文而动态变化。

之前 NLP 任务一般会预训练 $e$ 这些不包含上下文信息的词嵌入，我们会针对不同的任务确定不同的上下文信息编码方式，以构建特定的隐藏向量 $h$，从而进一步完成特定任务。但对于预训练语言模型来说，我们的输入也是 e e