基本概念
基线:两镜头的间距
景深:画面清晰范围,景深小(浅)背景虚化,景深大背景清晰
影响景深的三个因素:
光圈(反比,光圈越大景深越小)
焦距(反比,焦距越长景深越小)
摄距(正比,摄距越远景深越大)
单反通过伸缩镜头实现变焦进而得到合适的景深,但由于手机机身厚度限制无法伸缩镜头,那该怎么办?
答:景深信息可通过主副两个相机的视差共同计算的,目前最好的方法是采用双摄+算法得出合适的景深。
双摄的组合方式
1、彩色相机 + 彩色相机(RGB+RGB):主要用于计算景深,实现背景虚化和重对焦
2、彩色相机 + 黑白相机(RGB+Mono):主要提升暗光/夜景影像拍摄质量
3、广角镜头 + 长焦镜头(Wide+Tele):主要用于光学变焦
4、彩色相机 + 深度相机(RGB+Depth):主要用于三维重建
对于1、2、3的组合本质是一种“叠加”,即把两个镜头拍摄的图像叠加融合,来达到提升拍摄质量、模拟背景虚化、光学变焦等功能。
组合分析
1、彩色相机 + 彩色相机
拍照场景中每一个像素点距离相机的远近后,通过算法保留对焦平面内景物清晰度。
技术原理
保留目标对象的清晰度(主摄),将其余部分(副摄)根据其相对于摄像头的远近距离进行模糊处理,就可以模拟出光圈虚化效果。
2、彩色相机 + 黑白相机
提高暗光拍照质量一般有三种办法:延长曝光时间、提高ISO感光度、增大光圈。
问题及解决方法
延长曝光时间带来问题手抖 解决:光学防抖
提高ISO感光度带来问题增加噪点影响画面纯净度 解决:增大传感器(手机大小限制)
手机光圈固定无法调节
技术原理
①、黑白和彩色相机拍摄的图像同步和像素级对齐操作。两个相机在同时拍摄物体,内容会有移位,需要根据两个相机事先标定好的数据来做计算使得黑白和彩色图片中相同的像素一一对应。
②、图像融合部分是可以加开关进行控制的,根据不同应用的需要黑白和彩色图片都可以作为主要的融合参考,也可以分开使用。
黑白图片与彩色图片的融合
①、彩色相机采用拜尔滤色镜来制作彩色影像。
拜尔滤色镜:将RGB滤色器排列在光传感组件方格之上所形成的马赛克彩色滤色阵列。如下图所示,入射的自然光经过不同的拜尔滤色镜后就得到了相应的颜色。
由于人的眼睛对绿色最敏感,所以拜尔滤色器在光传感组件方格的排列设置上有50%是绿色,25%是红色,另外25%是蓝色。
②、黑白相机对于光线不需要进行滤光,进光量较彩色相机更多,光学传感器灵敏度更高,得到的图像细节更为丰富。
③、黑白相机的细节更丰富、信噪比更高等优势,以黑白图像作为基准和彩色图像进行融合后,图像的整体效果会有比较明显的提升。具体融合效果如下图所示。
3、广角镜头 + 长焦镜头
光学变焦
变焦镜头的组成比较复杂,但是可以按照功能划分为两部分:无焦变焦系统( afocal zoom system)和聚焦透镜(focusing lens)。如下图所示。
变焦的功能主要通过改变无焦变焦系统来实现,它通过改变光束穿过透镜的位置来达到变焦的目的。
举例说明:下图中L1,L3是凸透镜,用来汇聚光线,L2是凹透镜,用来发散光线。L3是固定的,L1,L2是可以沿着光轴移动。从图中可以看到这种组合移动的结果放大了透镜组的视场角,从而改变了整个透镜组的焦距。
数字变焦
数字变焦和光学变焦有着本质的不同,可以简单的认为数字变焦为“假变焦”。数字变焦是把图片内的每个像素面积增大,从而达到放大目的。粗糙的类比一下,数字变焦相当于你把照片放在一个图像编辑软件里,裁掉周围的一部分图像,然后把剩下的一部分放大。数字变焦仅仅是一个类似放大的效果,并不能真正的起到变焦作用,所以数字变焦的结果通常噪点较多,图像比较模糊。
下图是光学变焦和数字变焦的直观对比:
如何实现广角+长焦的应用?
宽视角的广角镜头可以“看”的很广,但是“看”不清远处的物体。窄视角的长焦镜头虽然“看”的范围不大,但是“看”的更远更清晰。广角和长焦镜头组合搭配,在拍照时通过 镜头切换 和 融合算法 就能实现相对平滑的变焦。高像素的长焦镜头能保证广角镜头因变焦而损失的图像信息远低于单摄像头的假变焦,从而大幅提高手机的变焦性能。该组合方式可以得到较好的光学变焦体验。
下图是广角+长焦的融合效果:
广角+长焦的光学变焦会产生什么问题?
单反相机的光学变焦:对于2倍光学变焦的镜头,可变单焦距,可以实现[1,2]区间内任意实数倍的光学变焦倍数,变焦平滑。
广角+长焦的光学变焦:对于2倍光学变焦的镜头,固定双焦距,不可实现[1,2]区间内任意实数倍的光学变焦倍数,变焦不平滑。
具体而言,实际是在短焦镜头(看得范围大)数字变焦达到最远的时候切换到长焦镜头(看得范围小),通过范围大用短焦、范围小用长焦的方式使整体光学变焦能力得到提升,一般这种切换会产生 顿挫感 。(图像处理算法强大的话可使用户感受不到这种顿挫感,如 iPhone7 puls)
4、彩色相机 + 深度相机
深度相机
深度相机就是可以直接获取场景中物体距离摄像头 物理距离 的相机。根据原理不同,主要有飞行时间(TOF)、结构光、激光扫描。通过深度相机可以得到深度图。深度图是一张灰度图,它是一张三维的图:水平垂直坐标对应像素位置,该位置的灰度值对应的是该像素距离摄像头的距离。
实现彩色+深度的遇到的问题?
①、深度相机的分辨率目前还比较低,一般都是VGA(640 x 480)以下,而现在普通的RGB相机分辨率都已经到千万像素级以上。要将低分辨的深度图与RGB相机一致的 高分辨率 ,这种“从无到有”的分辨率提升需要利用彩色图中物体的纹理、边界等内容信息,这个过程要想保持细节是比较困难的。
②、深度相机和彩色相机融合时还需要知道两个相机的畸变系数、光学中心、相对旋转/平移量等一系列参数,这就需要对两个相机进行 相机标定 工作。在深度相机的低分辨率下进行相机标定工作也是一个较大的挑战。
—参考文献—