开放词汇目标检测（Open-Vocabulary Object Detection, OVOD）综述

定义

开放词汇目标检测（Open-Vocabulary Object Detection, OVOD）是一种目标检测任务，旨在检测和识别那些未在训练集中明确标注的物体类别。传统的目标检测模型通常只能识别有限数量的预定义类别，而OVOD模型则具有识别“开放词汇”类别的能力，即在测试时可以识别和定位那些未曾在训练集中见过的类别。与开放词汇目标检测相对应的另一个重要概念是开集目标检测（Open-Set Object Detection, OSOD）。OSOD的目标是检测那些未在训练集中出现的未知类别，并将其标记为“未知”。与OVOD的不同之处在于，OSOD并不试图去识别这些未知类别是什么，而是关注于准确地检测它们的存在。本质上，开放词汇目标检测任务（Open-Vocabulary Object Detection）与零样本目标检测（Zero Shot Object Detection）、弱监督目标检测（Weakly supervised Object Detection）非常类似，核心思想都是在可见类（base class）的数据上进行训练，然后完成对不可见类（unseen/ target）数据的识别和检测。

参考链接：
https://blog.csdn.net/mieshizhishou/article/details/141216656
https://zhuanlan.zhihu.com/p/610639148

相关工作

OVR-CNN

2021年发表在CVPR的"open-vocabulary object detection using captions"是开放词汇对象检测领域第一篇重要工作，利用大规模image-caption数据改善对未知类的检测能力。本文提出了新的目标检测范式，用 image-caption 数据预训练视觉编码器。
论文：https://arxiv.org/pdf/2011.10678
源码：https://github.com/alirezazareian/ovr-cnn
解读：https://blog.csdn.net/jiaoyangwm/article/details/132000797
在这里插入图片描述

CLIP

于2021年由OpenAI发布。CLIP是一种图文多模态预训练神经网络。
基于视觉模型图像编码&基于nlp模型文本编码&相似度对比学习
论文：https://arxiv.org/pdf/2103.00020
源码：https://github.com/openai/CLIP
解读：https://blog.csdn.net/weixin_38252409/article/details/133828294
应用：图像分类、文本到图像检索、图像生成（结合GAN）、视觉问答（结合nlp）
在这里插入图片描述

ViLD

于2021 年由 Google Research 的Xiuye Gu等人提出。
以类似于Mask R-CNN 的两阶段检测器作为基础框架，第一阶段通过骨干网络（backbone）和区域提议网络（RPN）生成候选区域提议（proposals），第二阶段对这些提议进行分类和边界框回归，以确定目标的类别和位置。使用预训练的 CLIP 模型中的图像编码器和文本编码器，图像特征&文本特征&匹配关系等多模态信息融合共同优化损失函数。
论文：https://arxiv.org/pdf/2104.13921
源码：https://github.com/tensorflow/tpu/tree/master/models/official/detection/projects/vild
解读：https://hub.baai.ac.cn/view/12691
在这里插入图片描述

GLIP

于2021 年 12 月 7 日由微软团队首次发布提出。CLIP适用于分类任务，而GLIP尝试将这一技术应用于目标检测等复杂任务。视觉编码器&文本编码器&词-区域对齐&边界框回归
论文：https://arxiv.org/pdf/2112.03857.pdf
源码：https://github.com/microsoft/GLIP
解读：https://zhuanlan.zhihu.com/p/690342065
应用：开放词汇物体检测、视觉问答（VQA）、图像描述生成与检索
在这里插入图片描述

RegionCLIP

于2021年12月由微软团队提出。
基于预训练好的 CLIP 模型构建了一个 R-CNN 形式的目标检测器。
论文：https://arxiv.org/pdf/2112.09106.pdf
源码：https://github.com/microsoft/RegionCLIP
解读：https://blog.csdn.net/jiaoyangwm/article/details/131960703
在这里插入图片描述

Detic

于2022年1月由 Meta AI 和德克萨斯大学奥斯汀分校提出。
本质：使用图像分类的数据集来对目标检测器的分类头进行训练。
为了使得分类的分支具备检测出novel class的能力，基于image-supervised loss 的Detic，其将分类与定位解耦成两个问题，在分类时不再那么依赖标注数据。同样是两阶段范式。
论文：https://arxiv.org/pdf/2201.02605v3
源码：https://github.com/facebookresearch/Detic
解读：https://developer.aliyun.com/article/1277234

OWLViT

于2022 年由 Google Research 的 Matthias Minderer 等人提出。
OWL-ViT同样是以CLIP为多模态主干，创新之处在于其用于目标检测的微调阶段。在微调阶段，采用每个输出 token 的线性投影来获取每个对象的图像嵌入，而不是 CLIP 中使用的 token 池化和最终投影层。这些嵌入随后用于分类，而边界框坐标则是通过一个小型的 MLP 从 token 表示中推导出来的。支持基于图像嵌入做查询，允许检测难以通过文本描述的图像。
现在已经更新OWLViTv2。
论文：https://arxiv.org/pdf/2205.06230
源码：https://github.com/google-research/scenic/tree/main/scenic/projects/owl_vit
解读：https://zhuanlan.zhihu.com/p/613249723
在这里插入图片描述

VLDet

VLDet网络包括三个部分：视觉目标检测器，文本编码器和区域-词语之间的对齐。本文选择了Faster R-CNN作为目标检测模型。目标检测的第一阶段与Faster R-CNN相同，通过RPN预测前景目标。为了适应开放词汇的设置，VLDet在两个方面修改了检测器的第二阶段：（1）使用所有类共享的定位分支，定位分支预测边界框而不考虑它们的类别。 (2) 使用文本特征替换可训练分类器权重，将检测器转换为开放词汇式检测器。本文使用固定的预训练语言模型CLIP作为文本编码器。
论文：https://arxiv.org/pdf/2211.14843
源码：https://github.com/clin1223/VLDet
解读：https://blog.csdn.net/hanseywho/article/details/129143747
在这里插入图片描述

BARON

于2023年由Wu Size等人提出。首次提出了对齐 bag of regions 的 embedding，之前的方法都是对齐单个 region 的 embedding。基于 Faster R-CNN，为了让 Faster RNN 能够检测出任意词汇概念的目标，作者使用了一个线性映射层代替原本的分类器，将区域特征映射为伪词。
论文：https://arxiv.org/pdf/2302.13996
源码：https://github.com/wusize/ovdet
解读：https://blog.csdn.net/wzk4869/article/details/129713529
在这里插入图片描述

视觉-DINO

于2021年由 Facebook AI Research提出。
DINO学生网络和教师网络，两者具有相同的架构但参数不同，输入不同的图像视图，学生网络的输出通过与教师网络输出计算交叉熵损失来进行学习，教师网络使用学生网络的指数移动平均（EMA）进行更新。使用对比学习方法及全局自注意力机制，放弃负采样对的做法。
自监督的ViT可以呈现图像的语义分割信息，且在图像类间有良好的区分度。通过一个KNN就可以达到很高的分类准确率，所以用于算图像相似度、以图搜图的话应该是个好的选择。
论文：https://arxiv.org/pdf/2104.14294
代码：https://github.com/facebookresearch/dino
解读：https://zhuanlan.zhihu.com/p/635104575

视觉-DINOv2

于2023年由Meta AI Research提出。增强版DINO、大规模数据集LVD-142M
DINOv2包含两个完全相同的 ResNet 网络，其中一个作为学生网络，另一个作为教师网络，输入不同的图像，输出通过动量更新机制交互学习，这种结构有助于更好地学习图像的局部特征与全局特征。采用FlashAttention 机制，在同一前向传递中全局裁剪和局部裁剪，跳过了丢弃残差的计算。训练时采用全分片数据并行（FSDP）。
论文：https://arxiv.org/pdf/2304.07193
代码：https://github.com/facebookresearch/dinov2
解读：https://blog.csdn.net/CVHub/article/details/130304078

GroundingDINO

于2023年由清华大学、IDEA 研究院联合提出。GLIP是基于传统的one-stage detector结构，而Grounding DINO是一个双encoder单decoder结构，它包含了1个image backbone（Swin Transformer）用于提取多尺度图像特征，1个text backbone用于提取文本特征，1个feature enhancer用于融合图像和文本特征，1个language-guide query selection模块用于query初始化，1个cross-modality decoder用于bbox预测。
论文：https://arxiv.org/pdf/2303.05499
源码：https://github.com/IDEA-Research/GroundingDINO
解读：https://zhuanlan.zhihu.com/p/627646794
在这里插入图片描述

OV-DINO

于2024年由中山大学和美团联合提出。使用Swin Transformer作为图像编码器和BERT-base作为文本编码器的模型架构。统一的数据整合（UniDI）管道实现端到端训练，语言感知选择性融合（LASF）模块来优化跨模态的语义对齐。
论文：https://arxiv.org/pdf/2407.07844
源码：https://github.com/wanghao9610/OV-DINO
解读：https://blog.csdn.net/amusi1994/article/details/140836256
在这里插入图片描述

YOLO-World

于2024年由腾讯 AI 实验室提出。基于yolov8开发，采用CLIP预训练的Transformer文本编码器提取相应的文本嵌入，通过视觉语言建模和大规模数据集的预训练，提出一种新的可重新参数化的视觉-语言路径聚合网络（RepVL-PAN）和区域-文本对比损失，以促进视觉和语言信息之间的交互，增强了 YOLO 的开放词汇检测功能。
论文：https://arxiv.org/pdf/2401.17270v3
源码：https://github.com/AILAB-CVC/YOLO-World
解读：https://blog.csdn.net/weixin_47151388/article/details/137424184
在这里插入图片描述

其他最新工作2024-CVPR-Open-Vocabulary:

https://blog.csdn.net/m0_74163093/article/details/143247918

总结

综上，大多数工作均基于CLIP预训练的图像编码器和文本编码器。GlIP为解决目标检测任务提供了先例，后续很多工作常与目前较为广泛使用的目标检测网络结构相结合，从而构建新的开放词汇目标检测器。如ViLD基于Mask R-CNN、RegionCLIP基于R-CNN、VLDet和BARON基于Faster R-CNN。更具有创新性的工作是Detic，提出了使用图像分类的数据集来对目标检测器的分类头进行训练。OWL-ViT在目标检测微调阶段做创新，最有意思的是其支持基于图像嵌入做查询，允许检测难以通过文本描述的图像。这部分优势可能会使这个项目更能应用到实际任务中。另外的基于DINO的工作中，GroundingDINO更偏向于开集目标检测（OSOD）任务。与GLIP和G-DINO等其他方法相比，OV-DINO的预测更加精确，并且能够检测到标签中未标记的额外对象。而YOLO-World则主要是对yolov8的改进，目的在于为yolo架构赋予开放词汇检测能力。从开放词汇检测方案的发展历程上来看，YOLO-World的目标检测部分依然是单阶段范式的目标检测器，虽然效率更高速度更快，但一般不如两阶段范式的目标检测模型精度高。
开放词汇目标检测的核心思想是利用视觉-语言联合建模方法，将视觉特征和语言特征进行关联，从而实现对未见物体类别的检测。一般地，这类方法的关键组成有：
1.视觉特征提取（包括大规模图-文数据预训练、知识蒸馏、生成伪标签等）
2.文本嵌入（基于transformer）
3.视觉-语言匹配（基于referring 或grounding）
4.多模态融合
至于为何能做到开放词汇检测，关键在于利用了大规模预训练语言模型和视觉-语言联合表示学习。语言模型能够理解未见词语的语义，通过将目标类别名称编码为文本向量，然后与图像中的物体特征向量进行相似度计算。比如，对于一个新的类别 “独角兽”，语言模型能够理解这个词的语义，并且帮助检测器在图像中寻找具有相似语义特征的物体。

开放词汇对象检测/分割方案的常见架构