【论文阅读】Deep Instance Segmentation With Automotive Radar Detection Points

news/2025/2/28 2:52:15/

基于汽车雷达检测点的深度实例分割

一个区别:

automotive radar 汽车雷达 :

分辨率低,点云稀疏,语义上模糊,不适合直接使用用于密集LiDAR点开发的方法  ;

返回的物体图像不如LIDAR精确,可以在雨,雪,雨夹雪,冰雹,雾,泥和尘土中返回;

在夜间和阴天条件下也比激光雷达更准确;

发出的是无线电波而不是激光束

LiDAR 激光雷达:

激光波比无线电波短,因此激光雷达可以生成更详细的物体图像;贵

 左 LiDAR;右 RADAR  

============================================

提出问题:

从无线电雷达在点云实例分割上的实际问题出发:

问题一:雷达测点由于分辨率较低,比激光雷达测点云更稀疏、噪声更大,缺乏语义和几何信息,一些几何信息例如物体的形状,不能通过点的分布来反映,从而导致局部信息的缺乏。

问题二:  汽车驾驶需要对雷达数据进行实时处理的算法,雷达处理系统中的微中心单元(MCU)限制了模型的存储空间和可用的计算能力。

分析问题:

针对问题一:全局特征信息可以帮助分割任务,该如何设计一种深度学习算法来解决雷达检测点的稀疏性和模糊性 ,因为主流的pointnet++是模仿卷积思维,按照提取局部特征的思维来设计的,要很深的网络才能学到全局相互作用

针对问题二:性能提高的同时要兼顾实际场景,尽量轻量化

解决方案:

1、针对汽车雷达稀疏检测点的实例分割任务,设计了一种基于语义分割的聚类方法。该模型是基于PointNet++的语义分割版本设计的,新引入的头部估计点向中心偏移向量(CSV)--它表示从每个检测点到其相应实例的几何中心的偏移量。在聚类过程中,利用预测的CSV将每个点向其实例的中心移动,从而使属于同一实例的点更加接近,提高聚类精度

2、使用余弦相似性损失和归一化内积损失的和作为稀疏雷达检测点的语义分割训练过程中的损失,以提高性能的CSV引导聚类----为上述提出的中心偏移量适配的损失,来最小化 预测CSV 和ground-truth CSV之间的距离

3、提出使用gMLP来进一步提高模型的性能

得到的效果:

平均覆盖率(mCov)和平均精度(mAP)分别比基于聚类的分类方法高9.0%和9.2%,比端到端实例分割方法高8.6%和9.1%。同时,该方法及其轻量级版本的内存消耗保持在1MB左右,推理时间小于40 ms,适用于汽车雷达单片机

具体做法:

 N为样本量;C表示主干网络的输出通道数;Nclass是类的数量;Ndim为雷达原始探测点的尺寸。输入点首先通过逐点分类分支获得其预测类标号。然后根据csv预测分支对其预测的csv进行移动,使属于同一实例的点更加集中。然后,具有相同类标签的点被聚成簇(即实例)。在样例帧的实例分割结果中,不同的颜色表示不同的类,同一个圆中的点属于同一个实例。

 (a)PointNet++主干网络,采用两个SA水平和两个FP水平的结构,提取点特征

(b)预测头的结构,预测头为两层mlp,语义分割分支预测每个点的每个类的得分,而对于csv预测分支,预测每个点与其实例中心之间的差异。

(c) csv的图解,同一圆内的点属于同一实例

(d)可视化的整体结构的MLP增强PointNet++主干网络。可视化的MLP块在每个集合抽象级别和特征传播级别之后添加gMLP

 学习参考:

gmlp结构要看下原论文 :Pay Attention to MLPs

实验上的叙述


http://www.ppmy.cn/news/1023919.html

相关文章

Vc - Qt - 绘制窗口背景色

要在Qt中绘制一个背景颜色,你可以使用Qt的绘图功能来完成。下面是一种简单的方法: 步骤1:在你想要绘制背景颜色的QWidget(例如QMainWindow或QDialog)的派生类中,重写 它的paintEvent函数。步骤2&#xff1a…

C#质检工具(StyleCop、SonarLint)

1、StyleCop StyleCop工具主要类似java中的checkStyle,是检查代码样式规范的工具。 1.1、StyleCop安装流程: 图1.1 图1.2 图1.3 安装StyleCop插件时可能会遇到下载特慢或卡住不动的情况,需注意: 1)网上说的关闭IPV6功能不管用 2)网上说的自动指定dns不管用 3)网上…

YoloV5/YoloV7优化:感受野注意力卷积运算(RFAConv),效果秒杀CBAM和CA等 | 即插即用系列

💡💡💡本文改进:感受野注意力卷积运算(RFAConv),解决卷积块注意力模块(CBAM)和协调注意力模块(CA)只关注空间特征,不能完全解决卷积核参数共享的问题 RFAConv| 亲测在多个数据集能够实现大幅涨点,有的数据集达到3个点以上 💡💡💡Yolov5/Yolov7魔术师…

明天就要去面试软件测试岗了,现在我能怎么做呢?

首先,时间已经不允许你进行大面积的专业复习,所以你应该做好能够立竿见影的准备工作: 1、整理好自己的仪表 先去理个发,让自己看起来精神一点,尤其是男生,整理头发,修修鬓角能够快速让人对自己…

面部表情识别4:C++实现表情识别(含源码,可实时检测)

面部表情识别4:C实现表情识别(含源码,可实时检测) 目录 面部表情识别4:C实现表情识别(含源码,可实时检测) 1.面部表情识别方法 2.人脸检测方法 3.面部表情识别模型(Python) (1) 面部表情识别模型的训练…

从零开始学python(十七)JS逆向专题,看完直接入门

前言 今天讲述Python框架源码专题最后一个部分,爬虫集群部署,前面更新了十五个从零开始学python的系列文章,分别是: 编程语法/网络编程/多线程/多进程/协程/数据库机器学习/全栈开发/数据分析/Hadoop篇/Spark篇爬虫/自动化和抓包…

LUA pairs与ipairs

Lua编程语言中,pairs 和 ipairs 都用于遍历表(table)中的元素,但它们有一些不同之处。 在游戏开发中遇到了特效没完全消失的情况,因此记录一下 pairs: pairs 函数用于迭代表中的所有键值对。它会返回一个迭…

生产事故-走近科学之消失的JWT

0x01 事故背景 2021年11月26日01时10分,P公司正在进行某业务系统的生产环境部署操作,但其实早在00时30分的时候,他们已经完成过一次部署了,但是奇怪的是无论如何都通不过验证,无奈只好推倒重来,如此反复了…