分类目录：《深入理解深度学习》总目录
在实践中，当给定相同的查询、键和值的集合时，我们希望模型可以基于相同的注意力机制学习到不同的行为， 然后将不同的行为作为知识组合起来， 捕获序列内各种范围的依赖关系 （例如，短距离依赖和长距离依赖关系）。 因此，允许注意力机制组合使用查询、键和值的不同子空间表示（Representation Subspaces）可能是有益的。
为此，与其只使用单独一个注意力汇聚， 我们可以用独立学习得到的组不同的 线性投影（Linear Projections）来变换查询、键和值。 然后，这组变换后的查询、键和值将并行地送到注意力汇聚中。 最后，将这个注意力汇聚的输出拼接在一起， 并且通过另一个可以学习的线性投影进行变换， 以产生最终输出。 这种设计被称为多头注意力（Multihead Attention）。 对于个注意力汇聚输出，每一个注意力汇聚都被称作一个头（Head）。 下图展示了使用全连接层来实现可学习的线性变换的多头注意力：
给定查询 q ∈ R d q q\in R^{d_q} q∈Rdq、 键 k ∈ R d k k\in R^{d_k} k∈Rdk和值 v ∈ R d v v\in R^{d_v} v∈Rdv， 每个注意力头 h i ( i = 1 , 2 , ⋯ , h ) h_i(i=1, 2, \cdots, h) hi(i=1,2,⋯,h)的计算方法为：
h i = f ( W i ( q ) q , W i ( k ) k , W i ( v ) v ) ∈ R p v h_i=f(W_i^{(q)}q, W_i^{(k)}k, W_i^{(v)}v)\in R^{p_v} hi=f(Wi(q)q,Wi(k)k,Wi(v)v)∈Rpv
其中，可学习的参数包括 W i ( q ) ∈ R p q × d q W_i^{(q)}\in R^{p_q\times d_q} Wi(q)∈Rpq×dq、 W i ( k ) ∈ R p k × d k W_i^{(k)}\in R^{p_k\times d_k} Wi(k)∈Rpk×dk和 W i ( v ) ∈ R p v × d v W_i^{(v)}\in R^{p_v\times d_v} Wi(v)∈Rpv×dv以及代表注意力汇聚的函数 f f f。 f f f可以是《深入理解深度学习——注意力机制（Attention Mechanism）：注意力评分函数（Attention Scoring Function）》中的加性注意力和缩放点积注意力。 多头注意力的输出需要经过另一个线性转换， 它对应着 h h h个头连结后的结果，因此其可学习参数是 W i ( o ) ∈ R p p × h p v W_i^{(o)}\in R^{p_p\times h_{p_v}} Wi(o)∈Rpp×hpv：
W o [ h 1 h 2 ⋮ h h ] ∈ R p o W_o \begin{gather*} \begin{bmatrix} h_1 \\ h_2 \\ \vdots \\ h_h \end{bmatrix} \end{gather*} \in R^{p_o} Wo h1h2⋮hh ∈Rpo
基于这种设计，每个头都可能会关注输入的不同部分， 可以表示比简单加权平均值更复杂的函数。
参考文献：
[1] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015
[2] Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola. Dive Into Deep Learning[J]. arXiv preprint arXiv:2106.11342, 2021.
