【CVPR'24】域自适应深度补全:Test-Time Adaptation for Depth Completion
- 摘要
- 1. 引言
- 2. 相关工作
- 3. 方法
- 3.1 数据模态敏感性研究
- 3.2 准备阶段 - 源域
- 3.3 将代理映射部署到目标域
- 4. 实验
- 5. 讨论
摘要
深度补全旨在利用多传感器设置,从稀疏深度图中推断出密集深度图。尽管近年来取得了显著进展,现有方法通常会受到域转移问题的影响,例如从合成场景到现实世界应用的转移。在本文中,我们提出了 ProxyTTA,这是一种基于代理嵌入的测试时自适应方法,用于深度补全。我们的方法采用稀疏深度特征作为源域和目标域的桥梁,以应对目标域中 RGB 图像的域转移问题。具体而言,我们的代理嵌入学习在源域中捕获的对象形状的潜在几何和光度特征,这些对象可以跨域传递。我们的实验表明,ProxyTTA 在多个真实世界和合成数据集上取得了最先进的性能,超过了现有的测试时自适应基线。
1. 引言
深度补全是一个挑战性的问题,旨在通过结合 RGB 图像和稀疏深度图来预测密集的深度图。这一任务在自动驾驶、机器人导航和增强现实等领域中起着至关重要的作用。近年来,深度学习在深度补全任务上取得了显著进展。尽管如此,现有的方法通常在源域(例如合成环境)中进行训练,并在目标域(例如现实世界应用)中进行部署。然而,这样的域转移通常会导致显著的性能下降,因为 RGB 图像和深度图的分布在源域和目标域之间存在显著差异。
在传统的深度补全方法中,深度和 RGB 图像的结合被认为是提高精度的关键。然而,我们的研究发现,在