CNN:一种只能在固定感受野范围内进行关注的自注意力机制。CNN是自注意力的简化版本。自注意力:具有可学习感受野的CNN。自注意力是CNN的复杂形态,是更灵活的CNN,经过某些设计就可以变为CNN。 越灵活、越大的模型,需要更多的数据,数据不够就容易过拟合;小的、比较有限制的模型,适合在数据量小的时候使用,这样不容易过拟合;如果限制设得好,也容易有不错的结果。