《 Momentum Contrast for Unsupervised Visual Representation Learning》 ---- MoCo
什么是对比学习?
对比学习是一种自我监督学习的范式。将未标记的样本相互对比,通过训练模型,使得属于同一分布的样本在嵌入空间中被推向彼此。
怎样知道那些图片类似,那些不类似呢?
对比学习在视觉领域一般被认为是无监督的训练方式,因为在视觉领域,通过设计一些巧妙地代理任务(pretext task),从而人为的定立一些规则,这些规则可以用来定义哪些图片相似哪些不相似,从而可以提供一个监督信号去训练模型。
最广为应用的代理任务:instance discrimination,从数据集中选择一张图片,在这张图片上做随机裁剪和数据增广(都叫做Transformation),从而得到另外两张图(看着很不同,但来自于一张图,因此语义信息不应该发