目标检测与图像分割
语义分割:如果没有语义信息,很难正确分类每个像素
解决方案:感知像素周围的语义,帮助正确分类像素
-
滑窗计算:计算非常低效,图像块的重叠部分会被重复计算很多次
解决方案:转向全卷积 -
全卷积问题:分类模型会大幅降低特征的分辨率,难以满足分割所需的高分辨率输出
解决方案:采用没有下采样操作的全卷积网络,维持图像高分辨率\ -
无下采样的全卷积问题:在原图尺寸上的卷积操作计算量、显存占用非常大
解决方案:先采用下采样(大步长的池化、卷积)降低计算量,逐步上采样(Unpooling,转置卷积,线性插值)恢复图像分辨率
代表网络:U-Net,DeepLab,PSPNet
目标检测:分类+定位
selecctive search:找到有可能存在物体的区域,在CPU上运行,可以在几秒内生成2000多个区域
R-CNN
- 将selective search找到的区域作为候选区域
- wrap处理后的图像区域
- 送入CNN提取特征
- 最后使用SVM对每个图像区域分类
- 对每个Rol预测调整值:(dx,dy,dw,dh)
问题:效率很低,非常慢,同一区域会被反复计算(框内有重叠)
Idea:使用卷积网络处理整张图像,在特征上进行区域提取
Fast R-CNN
- 使用卷积网络处理整张图像
- 投射到由Selective Search生成的候选区域
- 对候选区域进行分类和回归
- 使用RoI Pooling,将不同大小的候选区域映射到固定大小的特征图
问题:Rol提取的特征与原始proposal中的特征存在差异
解决方法对四个近邻点进行线性插值
RCNN和Fast-RCNN的区别：RCNN是把候选框送入CNN,而fast-RCNN是把整张图片送进去。
Faster R-CNN
使用CNN预测proposal,其他模块和Fast R-CNN基本相同
即RCNN和fast RCNN的区域都是用selective search得到的,而faster RCNN的区域是RPN这个区域生成网络(CNN网络)得到的。
假设每个点都有固定大小的锚框,预测每个锚框里面是否存在物体,对于存在物体的锚框,对锚框进行调整,以便更好地将物体框住。
一般来说，每个点会定义K个锚框，具有不同的大小和比例
对 K × 20 × 5 K\times20\times5 K×20×5个锚框预存在物体的可能性，选择top300作为proposal\
不再使用Selective Search,而是使用RPN生成候选区域,RPN是一个全卷积网络,可以预测锚框的类别和偏移量,RPN和Fast R-CNN共享卷积层,因此可以并行处理,大大提高了速度。
联合四个损失:
- RPN分类损失 (是否存在物体):
这个损失是用来训练RPN来区分一个提议区域是否包含一个对象。对于每个锚点（anchor），RPN预测两个分数，表示该区域是背景（不包含任何目标）或前景（包含至少一个目标）。这是一个二分类问题，通常使用交叉熵损失函数来计算损失。 - RPN回归损失 (矩形框):
RPN除了要决定锚点是否应该被考虑为一个对象外，还负责调整这些锚点的位置以更好地匹配实际的对象边界框。这个损失用来优化锚点的坐标，使其更接近真实的目标边界框。一般采用平滑L1损失（smooth L1 loss）来减少回归误差，因为它对异常值不那么敏感。 - 检测分类损失 (物体类别):
在通过RPN生成了一组候选区域后，这些区域会被送入到快速R-CNN部分进行进一步处理。这部分不仅要确定区域内是否有物体，还需要识别出具体是什么类型的物体。因此，它是一个多类分类问题，其损失函数同样是基于交叉熵损失，但这次是对所有预定义的类别进行分类。 - 检测回归损失 (矩形框):
类似于RPN回归损失，但这是针对最终的检测结果而言的。在快速R-CNN部分，候选区域经过池化层后，会输出更加精确的目标边界框坐标。为了使这些预测框尽可能准确地包围目标，同样使用平滑L1损失来最小化预测框与真实框之间的差异。
实例分割
对检测到的每个实例物体进行分割
Mask R-CNN:架构非常接近Faster RCNN。在Faster RCNN的基础上加上了一个FCN层。
主要区别在于,在网络的末端,还有另一个头,即上图中的掩码分支,用于生成掩码进行实例分割。还有把Faster RCNN中的ROI Pooling换成了ROIAlign
ROI pooling时目标特征图的单元边界被迫与输入特征图的边界重新对齐。因此,每个目标单元格的大小可能不同
ROI Align,它不会取整单元格的边界并使每个目标单元具有相同的大小。它还应用插值来更好地计算单元格内的特征图值
