港大ArcLab最新开源DEIO:第一个学习与传统非线性图优化紧密结合的单目事件惯性里程计

server/2024/11/19 18:09:30/

原文链接:港大ArcLab最新开源DEIO:第一个学习与传统非线性图优化紧密结合的单目事件惯性里程计

导读

本文介绍了一种名为 DEIO(Deep Event Inertial Odometry)的新型单目深度事件惯性里程计框架。该方法创新性地将深度学习与传统非线性图优化相结合,通过可训练的事件束调整(e-DBA)与惯性测量单元(IMU)的预积分紧密耦合,实现6自由度位姿估计的高精度和鲁棒性。DEIO在多个公开数据集上的实验表明,其性能在低纹理、高动态范围和复杂场景中明显优于现有的基于图像或事件的主流方法,为事件相机在机器人导航和SLAM中的应用提供了新路径

论文信息

  • 标题:DEIO: Deep Event Inertial Odometry

  • 作者:Weipeng Guan∗, Fuling Lin∗, Peiyu Chen, Peng Lu (*Equal contribution)

  • 论文链接:https://arxiv.org/pdf/2411.03928

  • 项目地址:https://github.com/arclab-hku/DEIO

动机(Motivation)

本文的动机源于现有视觉同时定位与建图(SLAM)系统在恶劣条件下(如运动模糊、低光照和高动态范围环境)可靠性和精确性不足的问题。传统基于图像的SLAM方法(如RGB或RGB-D相机)容易受到动态光照变化和运动模糊的影响,而事件相机凭借其高时间分辨率、高动态范围和无运动模糊的特性,在极端环境中展现出巨大的潜力。然而,事件相机产生的稀疏、非规则和异步数据,以及在某些场景(如平行边缘运动或静态场景)中的信息缺失,限制了其独立应用的鲁棒性。

为克服这些挑战,近年来研究者尝试将事件相机与其他传感器(如IMU、深度传感器等)融合,但现有方法仍存在硬件成本高、标定复杂性高等问题。此外,基于学习的事件SLAM方法尽管展现了出色的泛化能力,但仍在低纹理环境和尺度模糊问题上表现不佳。本文的动机是通过整合深度学习和传统优化方法,结合事件相机和IMU数据,开发出一种高鲁棒性、低漂移且适用于大规模、复杂场景的里程计框架

创新点

系统pipeline

系统pipeline

  1. 学习与传统优化的融合
    提出了第一个学习与传统非线性图优化紧密结合的单目事件惯性里程计(DEIO)框架。通过引入可训练的事件束调整(e-DBA)与IMU预积分的整合,显著提升了位姿估计的精度和鲁棒性。

  2. 可训练的事件束调整(e-DBA)
    设计了基于神经网络的事件束调整方法,通过事件流中连续帧的光流预测替代传统的手工设计特征(如事件角点跟踪)。这一创新实现了事件数据的高效表征和优化。

  3. 单目事件-惯性融合
    DEIO是第一个将基于学习的事件SLAM方法与IMU融合的单目里程计框架。尽管仅在合成数据上训练,其在多个真实世界数据集上的性能显著优于20多种主流方法。

  4. 滑窗图优化的应用
    引入基于关键帧的滑窗优化,将e-DBA生成的几何信息(包括Hessian矩阵和不确定性)与IMU数据在一个协同的因子图中进行优化,实现了高效的事件-惯性联合调整。

  5. 高泛化能力
    尽管在合成事件数据集上训练,DEIO展现了出色的真实世界场景泛化能力,且在结合真实数据微调后,性能进一步提升。

  6. 开放数据与代码
    提供了代码和预处理的事件数据,促进了基于学习的事件位姿跟踪研究的发展。

本文核心算法

本文的核心算法是DEIO(Deep Event Inertial Odometry),一种将事件相机和IMU数据紧密结合的单目里程计系统,通过深度学习与传统优化的协同工作,实现高精度的位姿估计。算法核心分为以下几个部分:

1. 总体框架 DEIO分为前端和后端:

  • 前端通过深度学习预测事件数据的光流信息,提取稀疏的关键事件块。

  • 后端利用图优化技术将事件数据的几何信息与IMU的运动约束结合,通过滑窗因子图优化关键帧的位姿和深度。

2. 事件光流预测

  • 输入为事件数据流,将其划分为时间体素网格。

  • 使用深度神经网络提取局部特征,捕获事件块之间的运动关系。

  • 通过递归网络处理事件的不规则性,生成稀疏的光流和置信度信息,用于后续优化。

3. 可微事件束调整(e-DBA)

  • 从事件光流中提取事件块,将其重新投影到不同帧中,计算投影误差。

  • 使用深度学习生成的光流置信度,逐步优化事件块的深度和相机位姿。

  • 优化过程中充分利用事件数据的稀疏性,通过高效计算提高速度和精度。

4. 事件与IMU的联合优化

  • 构建一个滑窗因子图,其中包含事件和IMU的约束关系。

  • 事件数据提供精确的几何约束,IMU数据提供运动连续性和尺度信息。

  • 在因子图中综合优化事件光流、IMU测量和历史信息,更新关键帧的位姿和深度。

  • 使用关键帧管理策略,仅保留最近和最相关的关键帧,以减少计算负担。

5. 滑窗管理和优化

  • 滑窗机制确保系统只处理固定数量的关键帧。

  • 新关键帧加入时,旧帧会被边缘化处理,其信息被整合到全局优化中。

  • 滑窗内的优化迭代结合了事件数据和IMU数据,通过事件带来的几何精度和IMU带来的运动连续性,共同提升系统性能。

6. 系统工作流程

  1. 初始化:使用事件数据生成初始位姿,并结合IMU数据确定尺度和方向。

  2. 事件处理:提取稀疏事件块,预测光流和深度。

  3. 联合优化:整合事件与IMU信息,优化位姿和深度。

  4. 实时输出:滑窗优化后,输出最新关键帧的6自由度位姿。

实验仿真结果

更多对比实验结果,可以阅读原文。

总结

本文提出了一种名为DEIO的学习驱动的事件-惯性里程计(Deep Event Inertial Odometry),它通过在滑动窗口图优化中紧密集成深度事件束调整(e-DBA)和IMU信息,实现了高精度和高鲁棒性的位姿估计。实验表明,DEIO在九个具有挑战性的事件相机数据集上的表现明显优于基于图像和基于事件的主流方法。本文的研究表明,将学习与优化相结合的框架在SLAM(同时定位与建图)领域具有非常大的发展潜力。此外,通过提供公开的代码和预处理的事件数据,我们旨在推动基于学习的事件位姿跟踪的研究发展。

本文仅做学术分享,如有侵权,请联系删文!

👇👇👇👇👇👇👇👇👇👇

点击下方卡片

第一时间获取最热行业热点资讯,最新智驾机器人行业技术


http://www.ppmy.cn/server/143260.html

相关文章

第二十四章 TCP 客户端 服务器通信 - 当前 TCP 设备

文章目录 第二十四章 TCP 客户端 服务器通信 - 当前 TCP 设备当前 TCP 设备TCP 设备的 USE 命令 第二十四章 TCP 客户端 服务器通信 - 当前 TCP 设备 当前 TCP 设备 可以使用 %SYSTEM.TCPDevice方法返回当前 TCP 设备的 IP 地址和端口号。可以使用 Help() 方法列出这些方法&a…

游戏引擎学习第16天

视频参考:https://www.bilibili.com/video/BV1mEUCY8EiC/ 这些字幕讨论了编译器警告的概念以及如何在编译过程中启用和处理警告。以下是字幕的内容摘要: 警告的定义:警告是编译器用来告诉你某些地方可能存在问题,尽管编译器不强制要求你修复…

论文的科技查新报告是什么?有什么用途?

一、论文的科技查新报告是什么 论文的科技查新与一般科技查新有一些不同之处。 在论文的科技查新中,主要是针对特定的研究课题进行查新,以获取与该课题相关的最新研究成果和文献。 与一般科技查新相比,论文的科技查新更加注重对学术界的研究…

Ribbon 与 Feign:微服务调用中的差异探究

一、引言 在微服务架构蓬勃发展的当下,服务之间的高效协作与调用成为了构建分布式系统的关键环节。Spring Cloud 为我们提供了诸多实用的组件来助力微服务间的交互,其中 Ribbon 和 Feign 备受关注且应用广泛。然而,不少开发者对于它们之间的…

音视频开发库ffmpeg应用

1.FFmpeg简介 FFmpeg是什么 FFmpeg的全称是“Fast Forward Moving Picture Expert Group”,组件由命令行应用程序和函数库两部分组成。 通俗概括来说,FFmpeg 是一个免费的开源程序库,一个多媒体音视频处理分析工具软件,且提供命令行方式调用,专门用来编辑处理各种音视频…

Tomcat(17) 如何在Tomcat中配置访问日志?

在Apache Tomcat中配置访问日志是一个重要的步骤,它可以帮助你跟踪和分析服务器的HTTP请求。访问日志通常记录了每个请求的详细信息,如客户端IP地址、请求时间、请求的URL、HTTP状态码等。以下是如何在Tomcat中配置访问日志的详细步骤和代码示例。 步骤…

PCL点云开发-解决在Qt中嵌入点云窗口出现的一闪而过的黑窗口

PCL点云开发-解决在Qt中嵌入点云窗口出现的一闪而过的黑窗口 众所周知,在windows下开发PCL点云最快的方式就是到官网下载其预编译好的库,比如: PCL-1.14.0-AllInOne-msvc2022-win64.exe 这时候你到网络上搜索,大概率会有两种方案…

Linux 系统下的硬件视频加速

在浏览器研发中,GPU 硬件加速相关的问题常常令人头疼,而这些问题中,视频播放更是棘手。回顾以往,在基于 Android 系统开发浏览器时,我曾撰写了一系列与浏览器视频播放相关的技术文章: Chromium HTML Video …