0. 简介
高精地图作为自动驾驶中最关键的组成部分，矢量化高精（HD）地图包含有关周围道路元素的详细信息，这对于现代自动驾驶汽车的各项下游任务是至关重要的，例如车辆规划和控制。最近的工作试图直接检测矢量化高精地图，将其作为点集预测任务，从而显著提高了检测性能。然而，这些方法无法分析并且利用预测点之间的内部实例相关性，这阻碍了进一步的发展。《INSIGHTMAPPER: A CLOSER LOOK AT INNERINSTANCE INFORMATION FOR VECTORIZED HIGHDEFINITION MAPPING》利用内部实例信息通过Transformers进行矢量化高精建图，并且引入了InsightMapper。本文提出了InsightMapper中的三种新型设计，其通过不同的方式利用内部实例信息，包括混合查询生成、内部实例查询融合以及内部实例特征聚合。并最终完成了建图。具体的项目代码在github上可以查到。

1. 主要贡献
本文的贡献总结如下：

1）本文研究了内部实例点之间的相关性，证明了利用内部实例点信息可以有效地提高最终性能；

2）为了更好地利用内部实例信息，本文引入了一个称为InsightMapper的新模型，用于在线高精地图检测。InsightMapper包含三个具有不同功能的新型模块，包括查询生成、查询融合以及内部实例自注意力；

3）本文评估了所有的模块设计以及nuScenes数据集上的基线。InsightMapper的性能优于所有基线模型，并且维持了具有竞争力的效率。

 

3. 具体方法
3.1 概述
在VectorMapNet（Liu等，2022）和MapTR（Liao等，2022）的基础上，我们提出的InsightMapper是一个端到端可训练的网络，用于在线矢量化高清地图检测。与MapTR不同，InsightMapper利用内部实例信息来融合对象查询并在可变形Transformer解码器层中聚合中间特征。否则，相邻顶点可能会产生独立的位置回归结果，导致出现锯齿状甚至错误的实例。通过内部实例信息的辅助，模型可以更好地优化和细化实例内部点的位置，显著提高最终性能。

图4：InsightMapper概述：InsightMapper是一个端到端可训练的Transformer模型，具有编码器-解码器结构。Transformer编码器将透视视角相机图像投影到鸟瞰图（BEV）中。随后，Transformer解码器通过预测点集来检测向量实例。为了更好地利用同一实例内点之间的相关信息，我们：（a）提出了一种混合查询生成方案；（b）添加了一个基于实例内信息融合输入查询的模块；（c）在Transformer解码器层中插入了一个实例内特征聚合模块，用于实例内点特征交换。这三个设计使InsightMapper能够更好地利用实例内特征，并显著提高最终性能。 

点击经典文献阅读之--InsightMapper(深入研究矢量化高精地图的内部实例信息) - 古月居可查看全文