Semantic consistency knowledge transfer for unsupervised cross domain object detection

无监督跨域目标检测的语义一致性知识转移

· 作者: Zichong Chen, Ziying Xia, Xiaochen Li, Junhao Shi, Nyima Tashi, Jian Cheng
· 所属机构: 电子科技大学信息与通信工程学院，西藏大学信息科学与技术学院
· 关键词: 域适应、目标检测、图像校正、语义一致性
· 时间：2024年8月13日

研究背景:

1. 无监督跨域目标检测： 当源域和目标域数据分布不一致时，无监督跨域目标检测通过无需额外标注信息的方式提升检测器性能。
2. 现有方法的不足： 现有方法忽略了图像间的语义一致性，导致特征学习中知识转移不正确，降低了自适应性能。
3. 本文方法： 提出了一种名为语义一致性知识转移（Semantic Consistency Knowledge Transfer, SCKT）的方法，专注于相似语义信息，实现细粒度对应尺度域自适应。

研究方法:

1. 多通道自适应校正（MAC）模块： 用于图像增强，缓解像素失真，保持语义一致性。
2. 相关知识挖掘（RKM）模块： 包括特征相关学习（FCL）和一致性知识学习（CKL），利用生成的语义一致性特征捕获不同级别的图像细节和语义信息，实现多级别对应域对齐。
3. 训练与推理： SCKT框架不依赖特定网络结构，不降低推理速度，适用于不同目标检测器。

实验设计:

1. 数据集与场景： 在多个数据集和场景上进行实验，包括Cityscapes→FoggyCityscapes、Cityscapes→BDD 100K(Rainy)、KITTI→Cityscapes、PASCAL VOC→Clipart。
2. 实现细节： 使用YOLO系列检测器作为基线方法，初始化网络使用预训练权重，所有超参数遵循默认设置。
3. 与最先进方法的比较： 与多种现有方法进行比较，验证SCKT的有效性。

结果分析:

1. Cityscapes→FoggyCityscapes： SCKT在雾天条件下达到47.9%mAP，超过所有最先进方法。
2. Cityscapes→BDD 100K(Rainy)： SCKT在雨天条件下达到64.6%mAP，显著提高跨域目标检测性能。
3. KITTI→Cityscapes： SCKT在跨摄像头场景下达到最佳Car AP，有效解决跨摄像头引起的域偏移问题。
4. PASCAL VOC→Clipart： SCKT在现实到艺术风格的场景中，mAP提高7.7%，超过最佳弱监督方法。
5. 效率研究与局限讨论： SCKT在保持推理速度的同时，实现了准确率和速度的平衡。

总体结论:

1. SCKT框架： 通过语义一致性知识转移，有效解决了无监督跨域目标检测中的域偏移问题。
2. 实验验证： SCKT在多个域迁移场景中展现出最优性能，尤其在PASCAL VOC→Clipart场景中，mAP提高54.6%。