ORB-SLAM系列算法框架比较复杂,下面来梳理一下单目算法的流程。
一:单目初始化
单目初始化也就是单目的地图初始化。流程如下:
* Step 1:(未创建)得到用于初始化的第一帧,初始化需要两帧
* Step 2:(已创建)如果当前帧特征点数大于100,则得到用于单目初始化的第二帧
* Step 3:在mInitialFrame与mCurrentFrame中找匹配的特征点对
这里单目初始化阶段寻找两帧之间的特征点匹配对时采用“划圆划分方格”的方式进行。
* Step 4:如果初始化的两帧之间的匹配点太少,重新初始化
* Step 5:通过H模型或F模型进行单目初始化,得到两帧间相对运动、初始MapPoints
估计H矩阵和F矩阵是通过从匹配特征点对中随机选择了8对匹配特征点为一组,一共8组。这里采用了多线程计算。计算得分来选择是使用H矩阵还是F矩阵,平面倾向于单应矩阵H,非平面偏向于基础矩阵F。
分解H或F矩阵求解会得到4种R和t的组合,选出最佳组合的方法是:若某一组合使恢复得到的3D点位于相机正前方的数量最多,那么该组合就是最佳组合。
这里得到的两帧间的相对运动t是一个单位向量,并没有确定整个SLAM过程的尺度。
* Step 6:删除那些无法进行三角化的匹配点
* Step 7:将三角化得到的3D点包装成MapPoints
这里的3D点在分解H或F步骤就已经三角化计算出。
二:跟踪线程
ORB-SLAM2中的跟踪分为三种形式,分别是:参考关键帧跟踪、恒速模型跟踪、重定位跟踪、局部地图跟踪。
其中 参考关键帧跟踪、恒速模型跟踪、重定位跟踪叫做第一阶段跟踪(初步的跟踪)。
参考关键帧跟踪
场景:地图刚初始化成功后、恒速模型跟踪失败后。
跟踪方式:通过词袋进行特征匹配,通过最小化重投影误差的方式进行求解位姿。
这里参考关键帧分为两种:在这里是距离当前帧最近的关键帧作为参考关键帧。
另外一种是在跟踪局部地图中:与当前帧共视程度最高的一级共视关键帧。
恒速模型跟踪
场景:地图初始化成功后的正常场景下都是恒速模型跟踪。
跟踪方式:通过参考关键帧更新上一帧位姿(关键帧位姿会更新),根据之前估计的速度得到当前帧初始位姿,用上一帧的地图点进行投影跟踪(化圆),如果匹配点不够,则扩大半径搜索。
这里双目和RGBD相机会生成临时地图点的操作。
重定位跟踪
场景:跟踪失败的情况下。
跟踪方式: 先通过词袋进行快速匹配,在关键帧数据库中寻找相似的候选关键帧,再EPNP算法求解一个相对准确的初始位姿,之后再反复进行投影匹配和BA优化位姿。
局部地图跟踪
局部地图跟踪属于第二阶段跟踪,目的是使跟踪的定位更加准确。
场景:第一阶段跟踪后进行。
跟踪方式:将当前帧的局部关键帧对应的局部地图点投影到该帧中(地图点投影,跟恒速模型跟踪方式一样),得到更多的特征点匹配关系,对第一阶段的位姿再次进行优化。