一、个人理解
语义分割,其实就是为图片中的每个像素打上相应的标签,即将其所代表的语义具现化,呈现出的视觉效果就是图片中不同的目标有不同的颜色.
目前语义分割主要针对的问题是以下几点:
1)如何恢复原有的分辨率
2)如何尽可能的增大感受野
3)如何处理多尺度问题
下面,会以时间为顺序,给出在语义分割领域比较经典的论文。
二、相关论文
1、FCN
这一篇论文应该说是语义分割开始兴起的开山之作,主要贡献如下:
1)针对普通分类网络用于分割效果较差的问题,文章第一次提出抛弃全连接层,使用全卷积神经网络的架构,突破了以往的网络输入图片尺寸必须固定大小的限制,为以后的分割网络所沿用。
2)使用了反卷积操作进行恢复分辨率。
3)为了得到更加精细的分割结果,使用了跳跃连接,通过中层的语义信息来改善分割结果。
在FCN出现之前,大多数的分割网络针对像素进行分类都是找到包含这个像素的一块区域,将这块区域的类别作为像素点的类别,显然这样操作耗费内存,而且区域可能会重叠,效率低下。FCN是第一次尝试从抽象的语义特征直接对像素进行分类。
这篇论文具体解决的问题是如何恢复原有的分辨率,从网络来看,进行了多次的反卷积操作,每一次反卷积之后,找到相对应的池化后的中层信息进行加和,再进行反卷积操作。
2、SegNet
本文较好的阐述了语义分割这种编码-译码的结构,即将不断提取特征看做一个编码过程,而恢复分辨率则看做一个译码的过程。这种结构可以较好的平衡内存与分类精度。本文的贡献如下:
1)利用储存的pooling in