【深度相机系列一】深度相机入门介绍

news/2024/11/2 5:46:57/

说明:文中所举例的产品比较早,读者把重点放在学习原理上就好。

  • 9月13日苹果发布了致敬十周年的新机型iPhone X,其中前置原深感(TrueDepth)相机引起了极大的舆论关注。该相机的构成如下图所示。从左到右,依次是红外镜头、泛光感应元件、距离传感器、环境光传感器、扬声器、麦克风、700万像素摄像头、点阵投影器。其中最有里程碑意义的当属红外镜头 + 点阵投影器 + RGB摄像头的组合。后面会具体解释原因。
    在这里插入图片描述
iPhone X 前置原深感相机
  • 据苹果官方介绍,iPhoneX通过前置点阵投影器将超过30000个肉眼不可见的光点投影到人脸,再根据红外镜头接收到的反射光点,就可以计算得到人脸深度图。RGB摄像头拍摄的2D人脸结合计算的深度人脸信息,经过算法处理就可以绘制出精确细致的3D人脸。该技术安全性极高,可以轻松的识别出普通RGB相机难以处理的利用打印照片、软件合成、面具等进行的人脸识别攻击,可以安全方便的进行人脸活体检测。该技术用于iPhone的人脸解锁方案,称为FaceID,是iPhone X最重要的新功能之一。
    在这里插入图片描述
点阵投影在人脸上的示意图
(其实投影的是人眼不可见的红外光,这里只是示意图)
  • 在3D人脸模型的基础上,苹果除了推出FaceID,还衍生出了艺术自拍、人像光效、动画表情等一系列实用有趣的玩法。
    在这里插入图片描述
iPhone X的“动画表情”功能示意图
  • 作为手机行业的先驱者,苹果的3D人脸技术带来的这些突破性的玩法将给消费者市场带来巨大的变化,随之而来的是安卓手机厂商的追随,这将会迎来3D技术在手机等移动终端的爆发。
  • 其实,苹果的“原深感相机”中的“红外镜头 + 点阵投影器 + RGB摄像头”的组合本质上就是一种基于结构光技术的深度相机。那么,什么是深度相机呢?
  • 顾名思义,深度相机就是可以获取场景中物体距离摄像头物理距离的相机。深度相机通常由多种镜头和光学传感器组成,根据测量原理不同,主流的深度相机一般分为以下几种方法:飞行时间法结构光法、双目立体视觉法。
  1. 飞行时间是从Time of Flight直译过来的,简称TOF。其测距原理是通过连续发射经过调制的特定频率的光脉冲(一般为不可见光)到被观测物体上,然后接收从物体反射回去的光脉冲,通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离。
    在这里插入图片描述
飞行时间法原理示意图
  1. 结构光法就是使用提前设计好的具有特殊结构的图案(比如离散光斑、条纹光、编码结构光等),将图案投影到三维空间物体表面上,使用另外一个相机观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面,那么观察到的成像中结构光的图案就和投影的图案类似,没有变形,只是根据距离远近产生一定的尺度变化。但是,如果物体表面不是平面,那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形,而且根据距离的不同而不同,根据已知的结构光图案及观察到的变形,就能根据算法计算被测物的三维形状及深度信息。
    在这里插入图片描述
结构光法原理示意图
  1. 双目立体视觉法的原理和人眼类似,通过计算空间中同一个物体在两个相机成像的视差就可以根据如下三角关系计算得到物体离相机的距离。
    在这里插入图片描述
双目立体视觉原理示意图
  • 目前消费市场上常见的深度相机主要包括:微软的Kinect系列、华硕的Xtion、Intel的Realsense系列等。深度相机在三维建模、自然人机交互(手势/人脸识别)、AR/VR、自动驾驶等领域有非常广泛的应用。但是由于技术的限制,深度相机很难做到体积非常有限、功耗要求低的手机上。因此iPhone X此次发布的基于结构光技术的深度相机意义重大。
    在这里插入图片描述
部分消费级深度相机产品
  • 事实上,iPhoneX并非是第一个将深度相机应用到手机上的,2016年Google和联想就合作推出了全球第一个搭载Project Tango技术的手机Phab2 Pro,该手机的深度相机采用英飞凌的TOF方案。从原理上来说,iPhone X的结构光方案比Phab2 Pro TOF方案来说具有功耗低,分辨率及精度高等优点。这些优势对于在移动设备上实现生物特征识别来说意义重大。

转自:https://blog.csdn.net/electech6/article/details/78348917


http://www.ppmy.cn/news/686215.html

相关文章

相机基础知识

CCD与CMOS 工业相机按照图像的传感器元件的不同分为CCD(Charge Coupled Device,电荷耦合元件)和CMOS(金属氧化物半导体元件)两类,两者的区别如下: 成像过程不同: CCD仅有一个(或少…

06-C++学习笔记-指针的定义与使用

指针是C中非常重要的概念,它允许直接访问内存地址,并通过地址操作变量。本篇笔记将介绍指针的定义与使用方法,以及指针与数组的关系。 1️⃣ 指针的引入 指针的引入是为了解决需要直接访问内存地址的情况。通过指针,可以间接访问…

web和java哪个就业更好?

首先,要区分两种开发语言的特点: Java是一种后台的语言,类似于php,主要做的就是把数据库搭建好,以及数据放置到网页当中,java是比较复杂的编程语言。 Web前端开发相对应的职位可能就是一些web前端开发工程师…

symbian学习转载

【虎.无名】学习Blog 诺盛电信咨询:移动支付是什么- -| 回首页 | 2006年索引 | - - Nokia 6681菜鸟必修课 zt 腾达智能社区:Symbian基础类知识- - http://bbs.smar

USB-HOST调试纪实

Linux下的硬件驱动——USB设备(上)(驱动配置部分) http://www.ibm.com/developerworks/cn/linux/l-usb/index1.html Linux下的硬件驱动——USB设备(下)(驱动开发部分) http://www.ib…

腾达n304v2支持万能中继吗_驱动天空 - 网络设备 - 宽带路由器 - 腾达路由器

2018/9/10 16:43:00486 腾达Tenda AC7 硬件配置。 处 理 器:Realtek RTL8197F 存 储ROM:8 MB 内 存RAM:128 MB 无线芯片:Realtek RTL8197F Realtek RTL8812BR 无线速度:1200 Mbps 有线芯片:Realtek RTL836…

Spark SQL生产优化经验--任务参数配置模版

大表扫描 特殊case说明:当任务存在扫event_log表时需注意,若对event_log表进行了过滤,且过滤比很高,如下图的case,input为74T,但shuffle write仅为3.5G,那么建议提高单partition的读取数据量&a…

【结构型设计模式】桥接模式

一、写在前面 桥接模式(Bridge):桥接模式是一种结构型设计模式,其目的是将抽象部分和实现部分分离,允许它们可以独立地变化。该模式通过创建一个桥接类,连接抽象和实现,使得它们可以独立地进行…