点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨鲁鹏
来源丨 深蓝AI
编辑丨William
点击进入—>3D视觉工坊学习交流群
1、无人机在自主导航方面的挑战
无人机在未知环境上导航，面临着很多挑战，由于未知环境下，并不知道当前环境的地图可能会存在一些威胁，主要原因在于没有先验知识。这里主要有两个方面去解决或处理自主导航的研究。
第一个是在视觉方面，由于自身定位是无人机可以正常飞行的前提，所以首先可以定位自己。然后是视觉感知，无人机只能依靠摄像头去感知周围的环境。
第二个是控制方面，如果飞的比较快或受到攻击，无人机可能会出现故障，另外方面，在极端的情况下的某些情况会导致无人机失控，这些情况下依旧需要维持无人机的正常飞行。
2、基于事件相机的快速定位
因为在未知环境下是不存在先验信息，所以，要无人机能够飞行且知道自己的位置，首先要解决的问题是定位问题。由于在一些紧急情况下，快速飞行会带来一些问题，一个比较显著的问题就是运动模糊，运动模糊对视觉定位的影响很大。另外在未知环境上的感知该如何避开动态障碍物，也是一个比较具有挑战性的问题。还有无人机的负载比较小，有时要运行比较大的计算量会很受限制。
通常用的RGB相机在快速移动的情况下，会产生较大的运动模糊,导致追踪效果不佳。如图1所示，左图是是相机不动，但相机中的物在快速移动，会受到很强的运动模糊。右图是相机和镜头中的物在一起高速移动，图片则更加模糊，那对于无人机的识别和定位都存在问题。
图1 运动模糊
对于此，解决的思路是采用世界相机，即输出一组事件。事件是只有当物体运动的时候，才会进行感知。其优势在于不存在运动模糊，低时延。如图2所示，一个人在跑的时候，左边的传统相机完全看不清楚是什么东西，但是右边的事件相机可以明显的看到是一个人在跑步。
图2 传统相机和事件相机对比
此方法与一些有名的算法比较如表1所示。各种算法在不同的环境下，在各种不同的数据也都进行了对比，综合来看，本算法效果是比价好的。
表1 性能对比
3、位置环境的避障
避障的一些工作还是基于深度相机去做，因为可以利用深度相机去感知周围的障碍物，然后去避障。那有时需要去躲避一些高速运动的物体，这是很有挑战性，因为无人机本身在飞行，但如果一个更快的东西朝你飞来，肯定是难度很高。
首先是无人机的感知必须非常快，否则还没反应过来则被击中了，这也是主要处理的问题。目前主要是采用事件相机进行感知，其优势在于非常快，约兆赫兹每秒，所以十分适合去做高速运动物体的避障，但是事件相机价格昂贵，约4万人民币，对于几千块的无人机来说是不太划算的。所以还是希望去使用低成本的深度相机。
由于深度相机会存在运动模糊的影响，同时反应时间也没有事件相机快，要想达到和事件相机差不多的避障效果，那唯一能做的是从软件方面去提高它的避障性能。
首先提出fast object detection，因为深度相机仍然受运动模糊的影响，所以在训练的时候将其考虑进行。当出现运动模糊时，也会知道物体的样子。这里提出了3D SORT目标跟踪算法。具体参考论文《Perception and Avoidance of Multiple Small Fast Moving Objects for Quadrotors with Only Low-cost RGBD Camera》。然后进行实验可以看到跟事件相机有差不多的避障效果。
4、基于强化学习的导航与控制
刚才的大部分方法是用传统算法，导致有时候会受一些光照等条件影响，那这些问题是可以用深度学习或强化学习去解决。比如可以给定一张图，可以用深度网络进行训练，然后去估计它的姿态，最后利用深度学习去在线估计框离无人机的位置，然后躲避这些框。如图3所示。
图3 采用深度学习方法进行避障
然后，采用强化学习可以去实现无人机的一些自动飞行，比如可以让无人机自主学习去穿过一个框，所以就不需要用一些传统算法去设计这个框到底是在哪或如何穿过框。还可以用自由控制去做穿框，即只要穿过这个框，就给一个奖励，让他去自主的学习，进而体现出无人机的智能性。
5、总结
目前的自主导航依旧存在很多挑战性，比如需要更好的感知，因为深度相机可以感知，但运动模糊比较大，事件相机没有运动模糊，但成本太高。所以如何在这中间做一个权衡是需要去做的。
另外，激光雷达的精度比较高，但是一方面是比较重，另一方面是也不便宜，一个更好的视觉解决方案目前还是不存在，所以，更好的解决视觉感知的传感器是比较重要的。
由于目前没有出现比较更好的传感器的情况下，只能去改善算法，提高算法的软件性能。另外一方面是路径规划以及控制方面也是很重要，因为要躲避一些障碍物，无论是静态的还是动态的，所以这也是面临的一些挑战。还有一方面是在一些比较复杂的关系中，无人机进行自主导航，即如何拥有更高的智能性。
本文仅做学术分享，如有侵权，请联系删文。
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
8.从零搭建一套结构光3D重建系统[理论+源码+实践]
9.单目深度估计方法：算法梳理与代码实现
10.自动驾驶中的深度学习模型部署实战
11.相机模型与标定(单目+双目+鱼眼）
12.重磅！四旋翼飞行器：算法与实战
13.ROS2从入门到精通：理论与实战
14.国内首个3D缺陷检测教程：理论、源码与实战
15.基于Open3D的点云处理入门与实战教程
16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进
17.机械臂抓取从入门到实战
重磅！粉丝学习交流群已成立
交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。
扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，微信号：dddvisiona
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看，3天内无条件退款
高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
