自动驾驶相关知识学习笔记

server/2025/1/8 15:01:44/

一、概要

因为想知道SIL、HIL是什么仿真工具,故而浏览了自动驾驶相关的知识。

资料来源《自动驾驶——人工智能理论与实践》胡波 林青 陈强 著;出版时间:2023年3月

二、图像的分类、分割与检测任务区别

如图所示,这些更高阶的图像理解任务往往都可以归类为目标检测语义分割这两种基本的任务,或者基于这两种任务的扩展(实例分割)​。不同于单纯的图像分类,目标检测需要定位出在一张图像中每个物体(例如行人)的类别以及位置范围,而实例分割更进一步,需要以像素为单位给出每个物体的范围。

目标检测包括对车辆、行人、非机动车、交通信号灯和标志等进行检测。这个任务中需要同时做两件事情:一是分类,识别出目标是什么;二是定位出目标在哪里。前者不言而喻,对于后者,例如定位出目标在一个十字路口,需要能够分辨出是哪个位置的交通灯及交通灯分别是什么信号,这样才能相应地根据交通信号的指示移动。更细节地,目标检测可以分为2D和3D检测。前者是在一个2D图像上检测出物体,它的目标输出是在图像坐标系中的一个矩形框。后者是在3D空间中的检测,目标输出是3D的边界框。考虑到2D像素空间仍然只是3D空间的投影,而且如果考虑到畸变、地面的不平等因素,这种投影还存在不规则的因素,因此相对而言,2D像素空间中的检测与分割都还需要额外的处理才能用于后续的决策,而3D空间中的检测则可以较方便地用于决策规划环节。 

三、超参数

常见的超参数及其对模型训练的敏感性(其数值变化对模型训练的影响能力)

四、实现自动驾驶功能的流程

 五、自动驾驶系统研发流程

1、按信息处理过程划分

2、自动驾驶汽车研发工程示意图

(1)路采规划:该环节主要是对路采进行详细的路径规划,例如在全国哪些省市进行路采,采集什么样的路况和场景,有哪些代表性的天气状况需要采集,以及车队的人员配备和管理。

(2)测试车改装:该环节涉及测试车的功能规划,传感器的选择、安装、标定,数据获取系统(包括传感器记录仪、预标注系统、存储系统、车载电源等)的安装调试。

(3)裸数据采集:该环节需要注意相关法规的监管。在中国,公开道路上的地理信息数据的采集行为受《中华人民共和国测绘法》的约束,需要有地理信息勘测甲级资质的图商监管。

(4)数据上传:采集好的数据需要从路测场地通过物流的方式运输回数据中心上传,物流的过程同样也需要接受图商的监管。到达数据中心后,需要快速地将数据上传到数据中心的数据湖中存储,并将存储介质数据清除后通过物流送回路测场地循环使用。

(5)海量数据存储:根据不同的项目目标和规划,每天采集的数据量可能从数太字节(terabyte,TB)到数百太字节不等,由于数据量巨大,因此数据中心的数据上传应尽量采用自动化手段实现。数据中心侧应部署支持海量数据规模的数据湖存储设备接收每日上传的路采裸数据,同时应部署元数据库对路采裸数据的元数据进行管理(数据治理)​。

(6)数据清洗+预处理:一旦有新的裸数据进入数据湖,系统就可以开始数据处理的流程。先由图商对数据做脱敏(去除车牌等敏感信息)操作以及坐标系的偏转操作,再通过高性能计算集群对数据进行清洗(去除镜头被遮挡等的图像数据)和相应的预处理(亮度调节、对比度调节等)​。

(7)数据标注:对于需要进行深度学习(deep learning,DL)训练的数据,通过手动或半自动的标注平台进行标注(labeling),以生成监督学习需要的真值数据。

(8)自动驾驶产品规划:由自动驾驶的产品经理对自动驾驶的功能进行产品规划,并针对不同功能的自适应巡航控制(adaptive cruise control,ACC)系统、自动紧急制动(autonomous emergency braking,AEB)系统、车道偏离警示(lanedeparture warning,LDW)系统等制定不同的测试方案。

(9)算法模型训练:利用传感器数据进行物体识别、语义分割、实例分割等基于卷积神经网络的深度学习训练,将达到训练精度的模型用于推理,从传感器数据中抽取出各种场景要素。

(10)仿真场景库:使用抽取出来的场景要素生成场景库,业界比较权威的场景库是基于自动化及测量系统标准协会(association for standardization ofautomation and measuring systems,ASAM)规定的OpenDrive和OpenScenario场景库。在后期的虚拟仿真中,此环节生成的场景库将用于为数字仿真模型车生成虚拟的仿真场景。

(11)虚拟仿真:通过Simulink、Prescan、Carsim等虚拟仿真工具对算法进行“软件在环(SiL)”虚拟仿真,在仿真环节中仿真道路路面、交通参照物、车辆、行人以及天气条件下的环境信息(例如雨雾或者夜间照明时的路面信息)​。通过对各种基本要素的排列组合形成各种复杂的场景,尽可能多地覆盖各种罕见场景(cornercase),让数字仿真模型车在这些复杂场景中做各种测试并记录结果。每次测试完   成后利用测试结果对数字仿真模型车的算法和参数进行优化,循环往复,直到得到满足自动驾驶分级功能要求的结果。

(12)硬件仿真:对SiL仿真过程中达到功能标准的算法进行“硬件在环(HiL)”仿真验证。在SiL仿真过程的代码跑通后,再基于必要的硬件在环平台,检测代码在传感器、计算单元等硬件系统上运行中的错误和兼容性问题。然后进行“车辆在环(ViL)”仿真,将相关的软硬件系统集成到车辆平台上,在封闭场地中完成相关测试,检测代码是否出现问题。

(13)道路测试:基于“司机在环(DiL)”​,在测试场地和政府允许的公开道路进行场地测试,检测自动驾驶系统的运行情况,获得司机的主观评价及验证人机交互等功能。

(14)量产:以上各项测试都通过后,就可以进入量产阶段,在汽车成品中进行大量部署。

六、自动驾驶系统的仿真测试

1、软件在环(SiL)仿真测试系统架构

2、硬件在环(HiL)仿真测试系统架构


http://www.ppmy.cn/server/156810.html

相关文章

25/1/14 算法笔记<强化学习> 生成对抗模仿学习

基于生成对抗网络的模仿学习,假设存在一个专家智能体,其策略可以看成最优策略,我们就可以通过直接模仿这个专家在环境中交互的动作数据来训练一个策略,并不需要用到环境提供的奖励信息。 生成对抗模仿学习GAIL实质上就是模仿了专家…

基于ffmpeg和sdl2的简单视频播放器制作

基于ffmpeg和sdl2的简单视频播放器制作 前言一、视频播放器开发的基础1.1 视频播放原理1.2 开发所需的库 二、FFmpeg库详解2.1 FFmpeg库的组成2.2 关键数据结构2.3 打开视频文件并获取流信息2.4 查找视频流和解码器2.5 初始化解码器 三、SDL库详解3.1 SDL库的功能3.2 初始化SDL…

【Java基础】Stream流、文件File相关操作,IO的含义与运用

1. Java 流(Stream)、文件(File)和IO Java.io 包几乎包含了所有操作输入、输出需要的类。所有这些流类代表了输入源和输出目标。Java.io 包中的流支持很多种格式,比如:基本类型、对象、本地化字符集等等。 一个流可以理解为一个数据的序列。 输入流表…

碰一碰发视频的剪辑功能开发的细节源码搭建,支持OEM

在短视频盛行的今天,为碰一碰发视频增添剪辑功能,能极大提升用户创作的灵活性与趣味性。下面将详细阐述这一功能从技术选型到源码搭建的全过程。 一、技术选型 前端 框架:选择 React 作为前端框架,其基于组件化的开发模式&#x…

对安全的认知

上班摸鱼,随性写的,原来对安全的看法真的很窄,就觉得网络安全,无非是攻防和研究,就相当于觉得数学是代数和几何,确实是无知和片面的,甲方和乙方,对于安全的定义也是不一样的&#xf…

指代消解:自然语言处理中的核心任务与技术进展

目录 前言1. 指代消解的基本概念与分类1.1 回指与共指 2. 指代消解的技术方法2.1 端到端指代消解2.2 高阶推理模型2.3 基于BERT的模型 3. 事件共指消解:跨文档的挑战与进展3.1 联合模型3.2 语义嵌入模型(EPASE) 4. 应用场景与前景展望4.1 关键…

【嵌入式硬件】直流电机驱动相关

项目场景: 驱动履带车(双直流电机)前进、后退、转弯 问题描述 电机驱动MOS管烧毁 电机驱动采用IR2104STRH1R403NL的H桥方案(这是修改之后的图) 原因分析: 1.主要原因是4路PWM没有限幅,修改…

如何查看服务器上的MySQL/Redis等系统服务状态和列表

如果呢你知道系统服务名称,要看状态很简单: systemctl status server-name 比如 systemctl status nginxsystemctl status redis # 等 这是一个nginx的示例: 那问题是 当你不知道服务名称时该怎么办。举个例子,比如mysql在启动…