论文阅读之旋转目标检测ARC:《Adaptive Rotated Convolution for Rotated Object Detection》

论文link：link
code：code
ARC是一个改进的backbone，相比于ResNet，最后的几层有一些改变。

Introduction

ARC自适应地旋转以调整每个输入的条件参数，其中旋转角度由路由函数以数据相关的方式预测。此外，还采用了一种有效的条件计算技术，使检测器具有更大的适应性来处理图像中具有各种方向的物体。所提出的 ARC 模块可以方便地用作任意核大小的卷积层中的即插即用模块。因此，任何具有卷积层的骨干网络都可以通过使用 ARC 模块享受强大的旋转物体表示能力。

1.摘要

旋转物体检测旨在识别和定位图像中任意方向的物体。在这种情况下，物体的方向在不同图像中差异很大，而一幅图像中存在多个物体方向。这种固有特性使得标准主干网络很难提取这些任意方向物体的高质量特征。在本文中，我们提出了自适应旋转卷积 (ARC)模块来应对上述挑战。在我们的ARC模块中，卷积核自适应地旋转以提取不同图像中方向不同的物体特征，并引入了一种高效的条件计算机制来适应图像中物体的大方向变化。这两种设计在旋转物体检测问题中无缝协作。此外，ARC可以方便地用作各种视觉主干中的即插即用模块，以增强其表征能力，从而准确检测方向物体。在常用基准（DOTA和 HRSC2016）上进行的实验表明，在主干网络中配备我们提出的 ARC 模块后，多个流行的定向物体检测器的性能得到了显著提升（例如，在 Rotated RetinaNet 上 =mAP 提高了3.03%，在CFA上 mAP 提高了 4.16%）。与极具竞争力的 Oriented R-CNN 方法相结合，所提出的方法在 DOTA数据集上实现了81.77% mAP 的最佳性能。

2.模型结构图

在这里插入图片描述

3.方法

3.1 旋转卷积核

为了弥合任意方向的物体实例和这些静态方向的卷积核之间的差距，我们建议通过以数据驱动的方式在核空间内采样权重来旋转卷积核。

3.2 路由函数

路由函数将图像特征x作为输入，并为内核集预测一组旋转角度 $[{\theta _1},...{\theta _n}]$ ，以及相应的权重 $[{\lambda _1},.....{\lambda _n}]$ ,输入函数特征x的大小为 ${C_{in}},H,W]$ ，首先输入到内核大小为 3×3 的轻量级深度卷积中，然后进行层归一化和 ReLU 激活。然后将激活的特征平均池化为具有 $C_{in}$ 维度的特征向量。池化特征向量传递到两个不同的分支。第一个分支是旋转角度预测分支，由线性层和软符号激活组成。将这个线性层的偏差设置为 false，以避免学习有偏差的角度。采用软符号激活来降低饱和速度。此外，软符号层的输出乘以一个系数以扩大旋转范围。第二个分支称为组合权重预测分支，负责预测组合权重 λ。它由带偏差的线性层和 S 型激活构成。路由函数由零均值截断正态分布初始化，标准差为 0.2，以便模块在学习过程开始时产生较小的值。

3.3 自适应旋转卷积模块

卷积核根据不同的输入特征图自适应地旋转，本文引入一种条件计算机制来处理多个方向的对象：ARC模块有n个内核 $W_1,W_2.....,W_n)$ ，每个内核的形状都为： ${C_{out}},{C_{in}},k,k]$

4.结果

在这里插入图片描述

5.结论

本文提出了一种用于旋转物体检测的自适应旋转卷积模块。在所提出的方法中，卷积核根据图像中不同的物体方向自适应地旋转。进一步引入了一种高效的条件计算方法，使网络能够更灵活地捕获图像中多个方向物体的方向信息。所提出的模块可以插入任何具有卷积层的骨干网络。实验结果证明，在骨干网络中配备所提出的模块后，各种方向物体检测器在常用的旋转物体检测基准上的性能显著提高，同时保持了效率。