【学习记录】autoware标定相机与激光雷达外参

一、autoware选择

这里踩了好几个坑，首先autoware作为一个无人驾驶知名框架，其内部实际上是有两套标定的东西的，这一点绝大多数博客没有提到。其中最常用的是一个叫标定工具箱的东西，这个ros包已经在1.10往后的版本中被删掉了，所以网上的资料都是基于前人提取出来的代码进行单独编译然后运行，这种标定方法需要用到标定板，个人感觉比较麻烦，用这个标定工具箱，最好是在车上的工控机直接装好相应的程序，录制rosbag有时候提取效果并不好，而且对于标定板的位置和朝向都有许多讲究。

使用这种标定工具箱可以参考：

https://blog.csdn.net/qq_38988221/article/details/129161061
https://blog.csdn.net/mensan1998/article/details/118736810

除了这个方法，其实使用autoware自带的联合标定工具会更方便，这个标定工具在现在的版本里面都还有，其原理就是选择九对相机和点云中的点，然后计算外参矩阵。

使用联合标定工具可以参考：

https://blog.csdn.net/qq_40216084/article/details/108627919
https://blog.csdn.net/lemonxiaoxiao/article/details/107909149?utm_medium=distribute.wap_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0-107909149-blog-108627919.237^v3^wap_relevant_t0_download&spm=1001.2101.3001.4242.1
https://blog.csdn.net/HelloJinYe/article/details/106863585?utm_medium=distribute.wap_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-4-106863585-blog-108627919.237^v3^wap_relevant_t0_download&spm=1001.2101.3001.4242.3

二、利用docker可视化界面运行autoware

由于autoware.ai本身已经不再更新了，许多库文件也好源代码也好官方管理的也乱七八糟，所以用docker是目前启动autoware最快捷方便的方法，这里额外记录一下用docker来启动autoware。有关docker的基本使用方法可以参考之前的博客

下载好官方的docker之后，内部是带有ros的，我们可以直接进入docker来启动ros，如果需要新建一个命令行界面，则可以在宿主机重新开一个终端，然后使用下面的指令再进入一次docker。

sudo docker exec -it 你的docker的ID bash

在运行autoware的过程中，一定会用到可视化界面，包括rviz以及autoware的可视化配置界面等内容，这种情况下，需要给docker配置可视化的设置才能将docker内部的东西显示在外面，可以参考链接：

https://blog.csdn.net/qq_42731705/article/details/130798908
https://www.cnblogs.com/jiftle/p/13584725.html

由于标定需要用到提前录制好的rosbag以及内参文件，这里推荐在启动docker时顺便做一下地址映射，这样子就可以很方便地在docker内外传递文件，我启动docker时的指令为：

sudo docker run -it -v /tmp/.X11-unix:/tmp/.X11-unix -v 宿主机文件夹位置：docker内部文件夹位置 -e=DISPLAY=$DISPLAY 镜像的名字

之后就可以利用autoware进行标定，标定在启动过程需要指定内参文件和图像的topic，之后就可以进入到下面的界面进行点的选择，个人推荐在合适的位置，按空格暂停rosbag的播放，然后点击图像的点，然后点击点云中的点，没有合适的就按空格继续播放rosbag，重复这套操作直到选择九对点。
在这里插入图片描述
这个过程中遇到的一个问题是内参文件的格式，最开始我是用ros自带的标定工具去用棋盘格标定的相机内参，然后直接导出为yaml文件，但是用这个文件使用autoware标定时，选完点之后一直报错，错误信息如下：
在这里插入图片描述
查了很多资料也没找出问题所在，后来在一个博客里面发现了别人标定时用的yaml文件，这才发现原来autoware标定时的内参文件和ros标定工具输出的格式是不一样的。

autoware需要的格式为：

%YAML:1.0
---
CameraExtrinsicMat: !!opencv-matrixrows: 4cols: 4dt: ddata: [ 1., 0., 0., 0., 0., 1., 0., 0., 0., 0., 1., 0., 0., 0., 0.,1. ]
CameraMat: !!opencv-matrixrows: 3cols: 3dt: ddata: [ 6.0930328797947482e+02, 0., 3.1031651266062545e+02, 0.,6.0899238994475002e+02, 2.4626671682512318e+02, 0., 0., 1. ]
DistCoeff: !!opencv-matrixrows: 5cols: 1dt: ddata: [ 8.6431249579251121e-02, -1.4704874856941597e-01,-5.5439696020033046e-04, -1.9515514445514945e-03,-2.6628324052679192e-01 ]
ImageSize: [640, 480]
Reprojection Error: 0.0
DistModel: plumb_bob

ros直接输出的格式为：

image_width: 640
image_height: 480
camera_name: narrow_stereo
camera_matrix:rows: 3cols: 3data: [410.73262,   0.     , 318.33938,0.     , 411.97988, 190.16781,0.     ,   0.     ,   1.     ]
distortion_model: plumb_bob
distortion_coefficients:rows: 1cols: 5data: [0.009894, 0.015771, -0.011451, -0.007740, 0.000000]
rectification_matrix:rows: 3cols: 3data: [1., 0., 0.,0., 1., 0.,0., 0., 1.]
projection_matrix:rows: 3cols: 4data: [420.87268,   0.     , 312.09444,   0.     ,0.     , 421.67639, 184.16815,   0.     ,0.     ,   0.     ,   1.     ,   0.     ]

我们需要把下面的内容调整到上面的格式中，其实就是将distortion_coefficients和camera_matrix复制到上面，CameraExtrinsicMat保持不动就行，这个部分标定完autoware会把外参信息填在这里。

标定完可以参考博客对标定结果验证，博客里面提到了默认情况下激光雷达的topic名称是写死的，其实我们也可以不用重新在docker内部编译，可以直接在播放rosbag的时候对topic进行重命名，指令为：

rosbag play calibration.bag -l /lidar/point:=/points_raw

标定完之后效果如下，完美搞定标定任务！
在这里插入图片描述

三、多相机标定

这里最后再补充记录一个标定过程遇到的问题，由于我们的采集设备是一个激光雷达和三个激光雷达，上图为中间相机和激光雷达的外参检验结果，由于基本在一条线上，所以可以看到投影的结果十分准确，但是在标定左右相机的时候，投影的结果明显不一样，左右相机的投影结果如下。
在这里插入图片描述

本来以为是标定没操作好，和师兄交流的过程中突然就悟道了，第一张图为左相机的投影结果，由于相机在激光雷达左边，所以部分被遮挡的地方向左投影时就是空的，反过来，右边的相机则是右边出现了空。所以在这种情况下，只要边缘位置准确就可以。

四、用autoware标定固态激光雷达

在我们使用的采集车上，除了机械式激光雷达，还同时配备了固态激光雷达，但是由于扫描方法的不同，固态激光雷达输出的点云是不稳定而且稀疏的，这导致选点的过程并不准确，所以固态激光雷达没法直接用autoware标定。本来是让师弟用算法去标定，但是标出来的结果没法直接拿到autoware里面验证，尝试了很多种方法也没能成功，最后在查看livox的说明手册的时候注意到了一句话，积分时间会影响点云密度。瞬间就来了灵感，我写了一个rospy的脚本，将livox输出的点云五帧叠加为一帧，这样子只要环境中拿板子的人移动不快，叠加后的点云就可以在保证清晰的前提下，大幅度提高点云密度。事实证明这种叠加的方法确实有用，叠加后的效果如图：
在这里插入图片描述
用叠加后的rosbag继续用原来的方法进行标定，需要注意的是由于叠加降低了点云的输出频率，在选点时尽量在点云边缘清晰的时候暂停rosbag播放。选择九个点进行标定后，得到结果并验证，在叠加点云上的投影结果为：
在这里插入图片描述
在原始点云上的投影结果为：

五、图像反投影到点云

在对照博客去反投影验证效果的时候一直提示“Waiting for Image frame to be available”的错误，按照博主的修改方法也没调通，仔细检查了一下输出的信息，发现在launch文件里面修改的图像的topic没能正确传到节点里面，这里直接暴力将“core_perception/pixel_cloud_fusion/src/pixel_cloud_fusion.cpp”里面的image_src修改为了自己图片topic的名字。此外，因为我们使用的相机的frame并不是camera，在启动calibration_publisher.launch时需要对camera_frame进行修改，不然也会找不到坐标系，我的启动指令为：

roslaunch runtime_manager calibration_publisher.launch image_topic_src:=/rgbd/color/image file:=/media/data/[0]calibration/result/extrinsic_param/lidar2rgbd.yaml camera_frame:=Vzense_color_frame target_frame:=rslidar

可以使用下面的指令查看frame信息：

rostopic echo 需要查看的topic名称 | grep frame_id

最后利用rviz可以查看反投影的结果，可以把反投影的点云设置大一些，这样子可视化效果更明显。
在这里插入图片描述

六、标定过程中使用的脚本

可参考本人的gitte主页，包含了叠加点云的脚本和数据集处理的一些脚本。

https://gitee.com/zhang_zhi_he/rosbag_extraction_toolkit