目录

LLM的原理理解6-10：

6、前馈步骤

7、使用向量运算进行前馈网络的推理

8、注意力层和前馈层有不同的功能

注意力：特征提取

前馈层：数据库

9、语言模型的训练方式

10、GPT-3的惊人性能

一个原因是规模

大模型GPT-1。它使用了768维的词向量，共有12层，总共有1.17亿个参数。

OpenAI发布了GPT-2，其最大版本拥有1600维的词向量，48层，总共有15亿个参数。

2020年，GPT-3，它具有12288维的词向量，96层，总共有1750亿个参数。

今年，GPT-4。该公司尚未公布任何架构细节，GPT-4比GPT-3要大得多。

注释：

---

LLM的原理理解6-10：

6、前馈步骤

在注意力头在词向量之间传输信息后，前馈网络会“思考”每个词向量并尝试预测下一个词。在这个阶段，单词之间没有交换信息，前馈层会独立地分析每个单词。然而，前馈层可以访问之前由注意力头复制的任何信息。以下是GPT-3最大版本的前馈层结构。

绿色和紫色的圆圈表示神经元：它们是计算其输入加权和的数学函数。

前馈层之所以强大，是因为它有大量的连接。我们使用三个神经元作为输出层，六个神经元作为隐藏层来绘制这个网络，但是GPT-3的前馈层要大得多：输出层有12288个神经元（对应模型的12288维词向