参照了 2021最新关于点云配准的全面综述 - 知乎，并且加了些自己翻译，全篇的内容可能稍有删减。主要作为个人笔记，阅读了几篇综述，发现这篇是质量较好的，值得花时间细读。
文章分类
文章将配准方法分为了同源配准和不同源（跨源）数据配准，同源配准分为了基于优化的方法，基于特征的方法，基于端到端的配准算法
目录
III. 挑战（CHALLENGES）
A. Same-source challenges
B.跨源点云配准
IV. 分类（CATEGORIES）
A基于优化的方法（Optimisation-based registration methods）
B特征学习的配准方法
C基于端到端学习的方法
D跨源点云配准方法
V. 基于优化的配准方法（OPTIMISATION-BASED REGISTRATION METHODS）
A. ICP-based registration
B. Graph-based registration
C. GMM-based registration
D. Semi-definite registration
VI. 基于学习的配准方法（FEATURE-LEARNING METHODS FOR REGISTRATION）
A Learning on volumetric data
B Learning on point cloud
VII.基于端到端的深度学习方法 (END-TO-END LEARNING-BASED REGISTRATION)
A. Registration by regression
B. Registration by optimization and neural network
VIII. 跨源点云配准（CROSS-SOURCE POINT CLOUD REGISTRATION）
A. Optimization-based methods:‘’
B. Learning-based methods:
IX. 基于优化的方法和深度学习之间的联系（CONNECTIONS BETWEEN OPTIMIZATION-BASED METHODS AND DEEP LEARNING）
X.评价 （EVALUATIONS）
A.评估指标 Evaluation metrics
B. Same-source dataset（同源数据集）
XI. APPLICATIONS
A. Construction
B. Mining space
C. Autonomous driving
D. Robotics
E. Other applications
XII. OPEN QUESTIONS AND FUTURE DIRECTION
A. Robust and accurate registration
B. Efficiency
C. Partial overlap
D. Fusion of deep learning and registration mathematical theories
XIII. CONCLUSION
III. 挑战（CHALLENGES）
A. Same-source challenges
B.跨源点云配准
跨源点云配准的挑战，点云传感器经历了快速发展。例如，Kinect已经在许多领域得到了广泛的应用。激光雷达变得使用价格合理，并已集成到移动电话（如iPhone 12）中。而且，多年来三维重建技术的发展使得利用RGB相机生成点云成为可能。尽管在点云采集方面有这些改进，但每个传感器都有其独特的优点和局限性。例如，Kinect可以记录详细的结构信息，但视距有限；Lidar可以记录远处的物体，但分辨率有限。许多证据[77]，[41]表明，来自不同传感器的融合点云可为实际应用提供更多的信息和更好的性能。点云融合需要跨源点云配准技术。由于点云是从不同类型的传感器获取的，并且不同类型的传感器包含不同的成像机制，因此点云配准问题中的跨源挑战要比同源点云配准挑战复杂得多。这些挑战主要可以分为
噪声和异常值。由于不同采集时间的采集环境、传感器噪声和传感器成像机制不同，采集到的点云在同一个三维位置附近会包含噪声和离群点。
部分重叠。由于视点和采集时间的不同，采集到的点云只是部分重叠。
密度差。由于不同的成像机制和不同的分辨率，捕获的点云通常包含不同的密度。
尺度变化。由于不同的成像机制可能具有不同的物理度量，因此捕获的点云可能包含尺度差异。
IV. 分类（CATEGORIES）
A基于优化的方法（Optimisation-based registration methods）
基于优化的配准是利用优化策略估计变换矩阵。大多数基于优化的配准方法[104]、[54]、[78]、[15]包含两个阶段：对应搜索和变换估计。图（a）总结了这一类别的主要过程。对应点搜索是在另一个点云中找到每个点的匹配点。变换估计就是利用对应关系来估计变换矩阵。这两个阶段将进行迭代，以找到最佳的变换。在迭代过程中，初始的对应可能并不准确。随着不断的迭代，对应关系将变得越来越精确。然后，利用精确的对应关系，使估计的变换矩阵变得精确。通过比较点的坐标差或点点特征差，可以找到对应关系。这一类的优点有两个：
1）严密的数学理论可以保证它们的收敛性。
2） 它们不需要训练数据，可以很好地推广到未知场景。
这一类的局限性在于，需要许多复杂的策略来克服噪声、异常值、密度变化和部分重叠的变化，这将增加计算成本。
B特征学习的配准方法
特征学习的配准方法不同于经典的基于优化的配准方法，特征学习方法[114]、[19]、[35]采用深度神经网络来学习鲁棒的特征对应搜索。然后，通过一步估计（例如RANSAC）而无需迭代地确定变换矩阵。图（b）总结了这一类的主要过程。例如，[114]使用AlexNet从RGB-D数据集学习3D特征。[19] 提出了一种基于邻域点分布的局部PPF特征，并将其输入到网络中进行深度特征学习。[35]提出了一种旋转不变的手工特征，并将其输入深度神经网络进行特征学习。所有这些方法都使用深度学习作为特征提取工具。通过开发复杂的网络结构或损失函数，他们的目标是通过学习具有区别性的特征点来估计健壮的对应关系。
基于深度学习的点特征方法
1）可以提供鲁棒、准确的对应搜索。
2） 通过简单的RANSAC方法，精确的对应可以得到准确的配准结果。
这种方法的局限性有三个方面：
1）需要大量的训练数据。
2） 在未知场景中，如果场景与训练数据存在较大的分布差异，则配准性能会急剧下降。
3） 他们使用一个单独的训练过程来学习一个独立的特征提取网络。所学习的特征网络是确定点匹配关系而不是配准。
C基于端到端学习的方法
利用端到端神经网络解决配准问题。该方案的输入是两帧点云，输出是对齐这两点云的变换矩阵。与上述以点特征学习为重点的特征学习方法不同，将变换估计嵌入到神经网络优化中。神经网络优化与变换估计是分离的。图（c）总结了这一类的主要过程。端到端学习方法的基本思想是将配准问题转化为回归问题。例如，[109]尝试从要对齐的点云中学习特征，然后从特征中回归转换参数。[97]提出了一种配准网络，用于建立原始点集和目标点集之间的相关性，并使用定义的相关性预测变换。[27]提出了一种用于定位的自动编码器配准网络，它结合了超点提取和无监督特征学习。[64]提出了一种关键点检测方法，并同时估计相对姿态。FMR[40]提出了一种特征度量配准方法，将配准问题从以前的最小化点投影误差转化为最小化特征差。该方法将深度学习与传统的Lucas-Kanade优化方法相结合，是特征度量配准的一项开创性工作。
这一类的优点有两个方面：
1）神经网络专门针对配准任务进行设计和优化。
2） 它既可以利用传统数学理论的优点，又能利用深层神经网络的优点。
现有方法的局限性有两个方面：
1）回归方法将变换参数估计看作黑匣子，距离度量在基于坐标的欧氏空间中进行测量，该空间对噪声和密度差敏感。
2） 特征度量配准方法考虑了局部结构信息，这对配准非常重要。
D跨源点云配准方法
跨源点云配准是对不同类型传感器（如Kinect和Lidar）的点云进行配准。根据文献[77]，[41]，跨源点云配准由于噪声和离群点、密度差、部分重叠和尺度差等因素的综合作用而更具挑战性。一些算法[42]、[41]、[43]、[39]使用复杂的优化策略，通过克服跨源挑战来解决跨源点云配准问题。例如，CSGM[41]将配准问题转化为图匹配问题，并利用图匹配理论来克服这些挑战。最近，FMR[40]展示了使用深度学习对齐跨源点云的性能。这些方法都试图利用优化策略或深层次的神经网络来克服交叉源的挑战来估计变换矩阵。跨源点云配准的优点是结合多个传感器的优点，为增强现实、建筑施工等计算机视觉任务提供全面的三维视觉信息。然而，现有的配准方法存在精度低、时间复杂度高等缺陷，尚处于起步阶段。近年来，随着三维传感器技术的快速发展，由于缺乏跨源点云配准的研究，使得传感器技术与跨源应用之间存在一定的差距。
V. 基于优化的配准方法（OPTIMISATION-BASED REGISTRATION METHODS）
A. ICP-based registration
B. Graph-based registration
C. GMM-based registration
D. Semi-definite registration
VI. 基于学习的配准方法（FEATURE-LEARNING METHODS FOR REGISTRATION）
特征学习方法的主要思想是利用深层特征来估计准确的对应关系。 然后，可以使用一步优化（例如SVD或RANSAC）来估计变换，而无需在对应估计和变换估计之间进行迭代，如图2b所示。 研究方向是设计先进的神经网络来提取独特的特征。 在本节中，回顾了几种特征学习注册方法。 从深度学习的数据格式来看，这些配准方法分为体数据学习和点云学习。 图 4 说明了几种里程碑方法。
A Learning on volumetric data
3DMatch 总体框架，3DMatch从RGBD图像训练并行网络。3DMatch的输入是三维体素数据，输出是一个局部面片的512维特征。3DMatch可以提取三维点云的局部特征。图 5 显示了其整体框架，这是图 2b 中神经网络的一个示例。 对于 3D 点云的每个兴趣点，3DMatch 都会提取一个特征来合并兴趣点周围的局部结构。 在 3DMatch 中，3D 点云需要转换为 3D 体积数据，然后通过将 3D 体积数据输入神经网络来提取局部表示。 这种方法有两个明显的缺点：体数据需要大量的图形处理单元（GPU）内存并且对旋转变化敏感。
3DSmoothNet [35]引入了一种预处理方法来对齐3D补丁并根据对齐的3D补丁计算体积数据。 通过将对齐的体积数据输入卷积神经网络，提取的特征是旋转不变的。 具体来说，使用所有点的协方差矩阵的特征分解来估计局部参考系（LRF）。 使用 LRF 对齐点云后，对输入网格应用高斯平滑以获得平滑的密度值 (SDV) 体素化。 然后，将 SDV 输入到网络中进行特征提取。 为了提高基于体积的描述符的效率，FCGF[17]使用1×1×1内核来提取快速且紧凑的度量特征以进行几何对应。有很多文献关注于处理大内存成本的限制。 关键思想是删除空体素，因为 3D 点云通常稀疏地位于 3D 体积数据中。 OctNet [83] 使用八叉树将体积数据分层划分为不平衡树，其中每个叶节点存储特征表示。 塔塔琴科等人。 [92]使用八叉树来解码点云并学习独特的表示。 类似地，O-CNN [98]提出了一种基于八叉树的卷积神经网络用于 3D 形状分析。
B Learning on point cloud
PPFNet [19] 不是向网络提供体积数据，而是学习纯几何的局部描述符，并且高度了解全局上下文。 该方法使用点对特征（PPF）[21]对输入点云补丁进行预处理以实现旋转不变。 然后，将点云输入到PointNet [80]中以提取局部特征。 然后，通过应用最大池化操作获得全局特征。 全局和局部特征都输入到 MLP 块中，以生成最终的对应搜索特征。 其局限性在于需要大量的注释数据。 为了解决这个问题，PPF-FoldNet [18]提出了一种无监督方法来消除注释需求约束。 整体框架如图6所示。基本思想是使用PointNet对特征进行编码，并使用解码器将特征解码为与输入相同的数据。 通过使用 Chamfer 损失来利用输入和输出之间的差异来优化整个网络。 类似地，SiamesePointNet[118]通过分层编码器-解码器架构生成兴趣点描述符。
由于不需要对匹配点簇进行手动注释，3DFeatNet [110] 引入了一种弱监督方法，该方法利用对齐和注意机制从 GPS/INS 标记的 3D 点云中学习特征对应关系，而无需明确指定它们。 更具体地说，该网络采用一组包含锚点、正点云和负点云的三元组。 他们通过最小化锚点云和正点云之间的差异，同时最大化锚点云和负点云之间的差异来训练具有三元组损失的神经网络。 对齐[36]通过使用跟踪框架关注部分观察到的对象对齐，该框架试图估计以对象为中心的相对运动。 此外，这种方法使用神经网络，将对象的噪声 3D 点段作为输入来估计其运动，而不是用其中心点来近似目标。 [108]利用颜色和空间几何信息来解决点云配准。
由于 ICP 需要对最近点进行硬分配，因此它对初始变换和噪声/异常值很敏感。 因此，ICP 通常会收敛到错误的局部最小值。 RPMNet [111] 引入了一种对初始化不太敏感且更鲁棒的基于深度学习的刚性点云配准方法。 该方法的网络可以得到点对应关系的软分配，可以解决点云的部分可见性。 深度最近点（DCP）[99]采用动态图卷积神经网络进行特征提取，并使用注意模块来生成考虑两个点云之间关系的新嵌入。 此外，还使用奇异值分解模块来计算旋转和平移。 IDAM [59]将几何和距离特征合并到迭代匹配过程中。 点匹配涉及根据两个兴趣点的整个串联特征计算相似度分数。 杨等人。 [107]发现通过在三元组框架下优化神经网络（NN）模型可以实现更紧凑和独特的表示，该模型非线性地融合欧几里德空间中的局部几何特征。 神经网络模型通过改进的三元组损失函数进行训练，该函数充分利用三元组内的所有成对关系。 此外，他们声称他们的融合描述符也比从原始数据中深度学习的描述符更具竞争力，同时更轻量级和旋转不变性。
VII.基于端到端的深度学习方法 (END-TO-END LEARNING-BASED REGISTRATION)
端到端学习基配准方法的主要思想是将两个点云输入神经网络，输出是这两个点云之间的变换矩阵。 有两类：（1）将配准视为回归问题，并使用神经网络拟合回归模型进行变换矩阵估计[97]，[109]，[20]，[75]； 图 8 显示了这些方法的总体框架。 （2）通过神经网络和优化的结合将配准视为端到端框架[40]，[16]。 图 2c 显示了这些方法的总体框架。 这两个类别的目的是训练深度神经网络来直接解决方程 1 中的配准问题。图 7 中说明了几个里程碑式的方法。
A. Registration by regression
邓等人。 [20]提出了一个relativeNet来直接从特征估计姿势。 卢等人。 [65]提出了一种基于一组候选者之间学习到的匹配概率来检测关键点的方法（DeepVCP），这可以提高配准精度。 派斯等人。 [75]开发一个分类网络来识别内部值/异常值，并使用回归网络来估计内部值的变换矩阵。 图 8 通过回归显示了这些配准方法的总体框架。 与图2c的连接是变换模块是用X-Net模块实现的
B. Registration by optimization and neural network
该类别的主要思想是将传统的配准相关优化理论与深度神经网络相结合来解决等式1中的配准问题。图2c显示了这些方法的总结。 PointNetLK [3] 使用 PointNet [80] 提取两个输入点云的全局特征，然后使用逆合成（IC）算法来估计变换矩阵。 通过估计变换矩阵，目标是最小化两个特征之间的特征差异。 对于这种基于特征的 IC 算法，雅可比行列式估计具有挑战性。 PointnetLK 通过有限差分梯度计算使用近似方法。 这种方法允许应用计算效率高的逆合成 Lucas-Kanade 算法。 黄等人。 [40]通过自动编码器和点距离损失进一步改进 PointNetLK。 同时，它可以减少对标签的依赖。
DeepGMR [112] 使用神经网络来学习姿势不变的点到分布参数的对应关系。 然后，这些对应关系被输入 GMM 优化模块来估计变换矩阵。 DGR [16]提出了一种用于内点似然预测的 6 维卷积网络架构，并通过加权 Procrustes 模块估计变换。 这些方法表明，传统优化方法与最新深度学习策略的结合比以前的方法获得了更好的精度。
VIII. 跨源点云配准（CROSS-SOURCE POINT CLOUD REGISTRATION）
本节首次对跨源点云配准进行全面回顾。 现有的跨源注册方法分为两类：基于优化的方法和基于学习的方法。 研究方向是设计先进的注册框架（例如图2d）以克服跨源挑战（在第三节中讨论）并解决方程1。图9中说明了几个里程碑式的方法。
A. Optimization-based methods:‘’
基于优化的方法的主要思想是设计复杂的优化策略来解决等式1中的点云配准问题。优化策略与同源配准类似，但需要更复杂的版本来克服严重的跨源问题 挑战。 由于配准算法通常比同源的更复杂，因此所提出的算法通常是一个配准框架。 图 2d 直观地总结了这些想法。 CSC2F[77]提出了第一种使用从粗到细的方法的跨源点云配准方法。 注册是通过ICP解决的。 遵循从粗到细的策略，CSGMM [42]应用基于 GMM 的算法来估计变换。 GM-CSPC [43]假设跨源点云来自相同的高斯混合模型，并且两个输入点云是来自高斯混合的两个样本。 GM-CSPC 同时估计 GMM 参数和变换。 CSGM[41]将配准问题转化为图匹配问题，并通过图匹配优化来估计变换矩阵。 最近，[39]将高阶约束引入对应搜索，并将配准问题转化为张量优化问题。 RSER[69]提出了一种尺度估计方法，并使用RANSAC计算尺度归一化后的变换。
该类别的优点与基于同源优化的注册方法相同，包含两个方面。 首先，严格的数学理论可以保证它们的收敛性或性能。 其次，它们不需要训练数据并且可以很好地推广到未知场景。 然而，这一类别的挑战在于复杂的策略需要大量的计算成本，并且这些方法的性能在不同的数据集上有所不同。
B. Learning-based methods:
据我们所知，FMR[40]是第一个解决跨源点云配准的基于学习的方法。 该方法结合了优化和深度神经网络，通过最小化全局特征差异来估计变换。 该方法已证明存在相当大的噪声、异常值和密度差异。 由于深度神经网络擅长鲁棒特征提取，因此基于学习的方法是解决跨源点云配准的一个有前途的方向。
尽管有许多基于学习的配准算法，但在跨源数据集上的性能报道较少。 在本文中，我们构建了一个新的跨源点云基准测试，并在此基准测试上评估了几种最先进的配准算法的性能。 这种比较将为未来的研究提供一些见解。
IX. 基于优化的方法和深度学习之间的联系（CONNECTIONS BETWEEN OPTIMIZATION-BASED METHODS AND DEEP LEARNING）
深度学习和基于优化的方法之间的联系是：深度学习技术可以作为特征提取工具来替代原始点坐标。 常规优化可以为收敛提供理论保证。 首先，开发了高级损失计算策略，以应用优化策略来计算学习特征的估计变换。 其次，计算估计变换与真实值之间的损失。 许多现有的方法[99]、[40]表明，结合这两种优点可以实现高精度和高效率。 例如，深度最近点（DCP）[99]使用深度特征来估计对应关系并使用SVD来计算变换。 FMR[40]应用深度学习来提取全局特征，并使用Lukas-Kanade（LK）算法来最小化特征差异。 费伊，M.等人。 [31]使用深度学习来计算软对应关系，并使用消息传递网络来细化对应关系。 DeepGMR[112]利用深度学习计算高斯模型与点之间的对应关系，并基于GMM优化来优化变换。
这些现有方法为传统优化和深度神经网络提供了一些初步尝试来解决配准问题。 然而，精度鲁棒性和效率仍需要进一步提高。 将传统的优化理论与最新的深度神经网络相结合是一种有前途的方法，可以提供高精度和高效率，并从理论上保证当前基于深度学习的配准方法。 研究方向是结合现有的优化策略，设计先进的损失计算策略来优化神经网络。
X.评价 （EVALUATIONS）
本节总结了现有的指标，并总结了现有方法在现有同源数据集上的性能。 然后，我们引入新的跨源数据集，并对现有的配准方法进行比较实验。 本节将为同源和跨源点云注册提供基准。
A.评估指标 Evaluation metrics
rmseP：变换后点对点投影误差的平均值。
rmseT：变换均方根误差 (rmseT) 表示估计变换 gest 和真实变换 ggt 之间的均方根误差。
RE：旋转误差，通过计算估计Rest和真实值Rgt之间的旋转参数欧拉距离（其中选择参数是在三根轴行的角度）
TE: 平移误差 (TE) 计算为估计测试与真实值tgt 之间平移参数的欧式距离。
召回率：召回率表示RE和TE低于阈值的点云对数量占总对数量的比例。 或者，rmseP低于阈值。
B. Same-source dataset（同源数据集）
ModelNet40：ModelNet40 [103] 是对象 3D CAD 模型的全面、干净的集合，总共包含 40 个类别和 13356 个模型。 每个类别的CAD模型都分为测试部分和训练部分。 每个模型包含多个节点和面。 随机旋转和平移变换每个模型以评估配准。 利用变换后的模型和原始模型来评估配准算法的性能
3DMatch: 包含 62 个不同场景的总计超过 200K RGB-D 图像，例如 7-Scenes、SUN3D、RGB-D Scenes v.2 和 Halber。 每个场景都分为几个片段。 每个片段均使用 TSDF 体积融合从 50 个深度帧重建，并保存到 .ply 文件中。 重建数据集是在具有不同尺度的不同局部几何形状的不同环境中捕获的，并使用不同的重建算法构建的。 在实验过程中，使用 54 个场景进行训练，8 个场景进行测试。
KITTI: T
里程计数据集最初是为立体匹配性能评估而设计的，其中包含立体序列、激光雷达点云和地面真实姿态。 它由 22 个立体序列组成，其中 11 个序列（00-10）具有用于训练的真实轨迹，11 个序列（11-21）没有用于评估的真实轨迹。 激光雷达点云是使用 Velodyne 激光扫描仪捕获的。
ETHdata：这组数据集是用激光、IMU 和 GPS 传感器记录的。 使用 Hokuyo UTM-30LX 捕获点云。 利用经纬仪来保证扫描仪的“地面真实”位置的精度在毫米范围内。 该数据集包含八个场景，其中包括两个室内、五个室外和一个混合环境。 每个场景包含大约 30 个片段，并将它们存储在 CSV 文件中。 该数据集包含全局对齐帧和具有地面实况变换的局部帧。
C. New cross-source benchmark
暂时略过
XI. APPLICATIONS
点云配准是许多应用中的一项关键技术。 本节介绍了点云配准在各种应用中的作用，并总结了每个应用中的研究方向。
A. Construction
BIM（建筑信息模型）是新一代信息存储和操纵系统，广泛用于建筑目的和建筑管理。 它通常包含建筑物的 3D 模型和属性。 以前的计算机辅助 BIM 设计仅限于简单的指南和理论规划，因为没有与真实的物理世界进行交互。
点云可以克服这一限制，并提供将数字模型与物理空间精确对齐的能力（示例见图 11）。 原因是点云提供了将 3D 物理空间有效导入数字格式并增强现有数字模型的能力。 点云将使动态评估、可视化和改造项目变得更加容易
尽管点云将带来建筑领域的技术革新[12]，但有两个障碍限制了其广泛应用。 首先，3D传感器成本高昂。 Leica RTC360 激光扫描仪套件的价格约为 100,000 美元。 其次，效率低（拍摄360°场景>20分钟）。 效率低下的主要因素在于配准算法较慢。 尽管针对点云配准提出了一些改进[51]、[52]、[115]、[60]，但仍然缺乏鲁棒且快速的配准算法。 施工精度要求高。 开发一种具有建筑领域知识的快速、高精度的配准算法迫在眉睫，并将为建筑领域做出贡献。
B. Mining space
在采矿区域，点云可以提供 3D 矿山体验，并帮助监测地下隧道壁运动、检测矿坑壁不稳定、确认开发方向以及各种其他应用。 例如，无人机勘测和地下扫描设备正在改变采矿公司看待矿山的方式，使他们能够获得近乎实时的地形和开发进度视图。 点云配准是主导这些应用成功的基础技术。
点云已成为采矿领域规划、运营和决策的关键数据组件[84]。 例如，[70]、[71]得出结论，地面激光扫描（TLS）与离散元建模（DEM）的集成可用于防止地下挖掘中的岩石坠落，以提高工人的安全，从而降低死亡率。 然而，它需要充分的岩体表征和结构测绘，其中点云配准是关键技术。 [56]利用点云测量垂直安全柱体积并分析地下矿山环境的稳定性。 点云还可以用于构建地形，这为矿区的调查提供了好处[123]。
上述应用表明点云为采矿领域带来了很多很棒的想法。 然而，所有这些应用都需要高质量的点云。 点云配准是将多个扫描合并为单个更大扫描的关键技术。 注册准确性将决定这些应用程序的质量。 例如，如果没有准确的配准，我们就无法获得高质量的煤矿体积估算（见图12 1 ）。 利用采矿领域知识开发高精度和快速的点云配准将为采矿业做出贡献。
C. Autonomous driving
D. Robotics
E. Other applications
XII. OPEN QUESTIONS AND FUTURE DIRECTION
基于上述文献综述和应用综述，有待解决的问题有两个：（1）通过克服同源和跨源挑战实现高精度和稳健的配准。 (2)运行速度快，精度高。 在本节中，我们提出了四个未来的研究方向。
A. Robust and accurate registration
点云是3D环境的记录。 然而，由于噪声和异常值变化，真实数据非常复杂。 这些变化可能来自不同采集时间期间的传感器或环境变化。 首先，未来的方向可能会稳健地处理现实世界点云中噪声和异常值的挑战性变化。 尽管许多方法都集中在这一领域[11]、[104]、[9]、[41]，但精度和速度都远远落后于实际应用的要求。 其次，高精度是另一个关键的研究方向。 高精度对于许多实际应用来说是必不可少的，例如地理测量、自动驾驶的高清地图（如第十一节所述）。 尽管最近的深度学习方法可以在 KITTI 数据集上实现较高的配准精度，例如 [16]在KITTI数据集中获得了3cm，但对其他数据集的鲁棒性和泛化能力仍然报道较少。 第三，基于学习的泛化能力对于真正多样化的应用仍然是一个悬而未决的研究问题。
B. Efficiency
注册效率是另一个遗留的研究问题，也是未来的研究方向。 最近的点云通常包含数百万个点； 传统的优化方法如ICP会非常慢。 然而，目前许多先进的方法都需要ICP进行细化以获得高精度。 如果不进行细化，准确性将会大幅下降。 例如，在 KITTI 数据集中，DGR [16] 通过 ICP 细化获得了 3cm 的配准精度，而在没有 ICP 的情况下，精度下降到 22cm。
C. Partial overlap
部分重叠是指只有部分点云描述相同的 3D 环境，而其他部分则不同。 部分重叠率可以非常小，例如小于20%。 这种重叠率将非常具有挑战性，因为即使我们的人类需要大量时间来手动对齐两个部分重叠的点云以找到公共区域，但搜索重叠率是一个组合问题。 最近的技术[100]、[36]提出了基于关键点的解决方案来解决部分重叠。 他们高度依赖关键点检测的质量。 未来的研究方向是设计一种鲁棒的算法来解决低重叠点云配准。
D. Fusion of deep learning and registration mathematical theories
许多现有的实验[35]、[6]、[41]表明，直接应用配准的数学理论将花费大量的计算时间，而直接应用深度学习并不能保证准确性。 直接结合深度学习和ICP仍然需要很高的计算时间。 最近，一些文献[3]、[100]、[40]正在尝试将传统数学理论和深度神经网络融合到端到端框架中，以获得高精度和高效率。 这个领域只是一个开始，还需要大量研究来开发出色的融合配准算法。
XIII. CONCLUSION
本文对同源和跨源域的点云配准进行了全面的调查。 在本次调查中，我们首次对跨源点云配准进行了回顾，并评估了跨源数据集上现有的最先进的配准方法。 此外，我们总结了基于优化的方法和深度学习方法之间的联系。 之后，我们总结了点云配准的可能应用。 最后，我们提出了注册领域的几个未来研究方向和开放问题。
