前言

Transformer诞生到现在，从NLP领域到CV领域，可以说是两开花。特别是在预训练模型中，BERT相关系列近些年屡屡突破，在各种下游任务中，不仅能提速还有效果上的提升。所以在NLP的相关任务中，提及Transformer和CNN时，Transformer一般都会优先考虑，更何况是在预训练语言模型方面，我以前都没有想过将CNN用在预训练，直到看到这篇文章，才打开了新思路，看来还是我格局小了呀。

正如论文标题一样：Are Pre-trained Convolutions Better than Pre-trained Transformers?这篇文章并没有能够将“CNN预训练优于Transformer预训练”这个结论石锤，不过从某种程度上说，还是将BERT、transformers和大规模预训练模型进行解耦，给我们打开了新世界，接下来我们就一起来品一品这篇文章。

前情提要

这篇文章其实围绕三个问题要讨论：

• 只有类Transformers的结构才适合预训练？
• 如果使用不同于Transformers结构的模型来进行预训练，是否能够提高收益？
• 使用卷积进行预训练是否在特定的场景表现更好？

在正式研究和讨论之前，还有几点需要达成共识的，根据以往的研究表明，卷积有着如下的优势：

• CNN 比 self-attention 快得多：CNN 是线性复杂度，self-attention 是平方复杂度（甚至因此诞生了《轻量 transformers》这个分支领域）。
• CNN 是按顺序进行的，因此不需要如Transformers那样，需要额外的位置编码。

不过还是需要注意的是，CNN 在单层的感受野大小是有限且固定的，只能通过堆叠层数来增大感受野，而self-attention 在一层就可以捕捉所有 token 之间的关系，这对于捕捉长距离依赖非常关键。同时，self-attention 聚合的权重是与输入 token 相关的，而 CNN 的聚合权重是与输入 token 无关的。

文章涉及到对比卷积的运行速度，我之前写过一篇如何根据FLOPs或MACC去大致的计算模型的速度，感兴趣的可以参考如下：
教你如何估计各种神经网络的计算量和参数量

我们来简单过一遍论文中使用到的卷积：

• Depthwise Convolutions：深度可分离卷积中，每个通道只被一个卷积核所卷积，这里我们假设输入的张量 $X$ 的维度大小为 $n\times d$，那么深度可分离卷积 $D(X,W_{c:},i,c)$ 可以被定义为：
  $$O_{i,c}=\sum _{j-1}^k{W}_{c,j}\cdot X_{i+j-\lceil \frac{k+1}{2}\rceil },c$$
  其中，$W\in {\mathbb{R}}^{d\times k}$是可训练参数，$O_{i,c}$是通道 $c$的第$i$ 个位置的输出，输出的shape和输入的shape相同，都是 $n\times d$
• Lightweight Convolutions：轻量化卷积对深度可分离卷积做了进一步地简化，这里我们令 L