Camera:双摄基本原理

news/2024/12/28 9:53:18/

基本概念

基线:两镜头的间距
景深:画面清晰范围,景深小(浅)背景虚化,景深大背景清晰
影响景深的三个因素:
光圈(反比,光圈越大景深越小)
焦距(反比,焦距越长景深越小)
摄距(正比,摄距越远景深越大)

单反通过伸缩镜头实现变焦进而得到合适的景深,但由于手机机身厚度限制无法伸缩镜头,那该怎么办?
答:景深信息可通过主副两个相机的视差共同计算的,目前最好的方法是采用双摄+算法得出合适的景深。


双摄的组合方式

1、彩色相机 + 彩色相机(RGB+RGB):主要用于计算景深,实现背景虚化和重对焦
2、彩色相机 + 黑白相机(RGB+Mono):主要提升暗光/夜景影像拍摄质量
3、广角镜头 + 长焦镜头(Wide+Tele):主要用于光学变焦
4、彩色相机 + 深度相机(RGB+Depth):主要用于三维重建

对于1、2、3的组合本质是一种“叠加”,即把两个镜头拍摄的图像叠加融合,来达到提升拍摄质量、模拟背景虚化、光学变焦等功能。


组合分析

1、彩色相机 + 彩色相机

拍照场景中每一个像素点距离相机的远近后,通过算法保留对焦平面内景物清晰度。

技术原理

保留目标对象的清晰度(主摄),将其余部分(副摄)根据其相对于摄像头的远近距离进行模糊处理,就可以模拟出光圈虚化效果。

2、彩色相机 + 黑白相机

提高暗光拍照质量一般有三种办法:延长曝光时间、提高ISO感光度、增大光圈。

问题及解决方法

延长曝光时间带来问题手抖 解决:光学防抖
提高ISO感光度带来问题增加噪点影响画面纯净度 解决:增大传感器(手机大小限制)
手机光圈固定无法调节

技术原理

①、黑白和彩色相机拍摄的图像同步和像素级对齐操作。两个相机在同时拍摄物体,内容会有移位,需要根据两个相机事先标定好的数据来做计算使得黑白和彩色图片中相同的像素一一对应。
②、图像融合部分是可以加开关进行控制的,根据不同应用的需要黑白和彩色图片都可以作为主要的融合参考,也可以分开使用。
彩黑

黑白图片与彩色图片的融合

①、彩色相机采用拜尔滤色镜来制作彩色影像。
拜尔滤色镜:将RGB滤色器排列在光传感组件方格之上所形成的马赛克彩色滤色阵列。如下图所示,入射的自然光经过不同的拜尔滤色镜后就得到了相应的颜色。
在这里插入图片描述
由于人的眼睛对绿色最敏感,所以拜尔滤色器在光传感组件方格的排列设置上有50%是绿色,25%是红色,另外25%是蓝色。

②、黑白相机对于光线不需要进行滤光,进光量较彩色相机更多,光学传感器灵敏度更高,得到的图像细节更为丰富。
在这里插入图片描述
③、黑白相机的细节更丰富、信噪比更高等优势,以黑白图像作为基准和彩色图像进行融合后,图像的整体效果会有比较明显的提升。具体融合效果如下图所示。
在这里插入图片描述

3、广角镜头 + 长焦镜头

光学变焦

变焦镜头的组成比较复杂,但是可以按照功能划分为两部分:无焦变焦系统( afocal zoom system)和聚焦透镜(focusing lens)。如下图所示。
在这里插入图片描述
变焦的功能主要通过改变无焦变焦系统来实现,它通过改变光束穿过透镜的位置来达到变焦的目的。
举例说明:下图中L1,L3是凸透镜,用来汇聚光线,L2是凹透镜,用来发散光线。L3是固定的,L1,L2是可以沿着光轴移动。从图中可以看到这种组合移动的结果放大了透镜组的视场角,从而改变了整个透镜组的焦距。
在这里插入图片描述

数字变焦

数字变焦和光学变焦有着本质的不同,可以简单的认为数字变焦为“假变焦”。数字变焦是把图片内的每个像素面积增大,从而达到放大目的。粗糙的类比一下,数字变焦相当于你把照片放在一个图像编辑软件里,裁掉周围的一部分图像,然后把剩下的一部分放大。数字变焦仅仅是一个类似放大的效果,并不能真正的起到变焦作用,所以数字变焦的结果通常噪点较多,图像比较模糊。
下图是光学变焦和数字变焦的直观对比:
在这里插入图片描述

如何实现广角+长焦的应用?

宽视角的广角镜头可以“看”的很广,但是“看”不清远处的物体。窄视角的长焦镜头虽然“看”的范围不大,但是“看”的更远更清晰。广角和长焦镜头组合搭配,在拍照时通过 镜头切换融合算法 就能实现相对平滑的变焦。高像素的长焦镜头能保证广角镜头因变焦而损失的图像信息远低于单摄像头的假变焦,从而大幅提高手机的变焦性能。该组合方式可以得到较好的光学变焦体验。
下图是广角+长焦的融合效果:
在这里插入图片描述

广角+长焦的光学变焦会产生什么问题?

单反相机的光学变焦:对于2倍光学变焦的镜头,可变单焦距,可以实现[1,2]区间内任意实数倍的光学变焦倍数,变焦平滑。
广角+长焦的光学变焦:对于2倍光学变焦的镜头,固定双焦距,不可实现[1,2]区间内任意实数倍的光学变焦倍数,变焦不平滑。
具体而言,实际是在短焦镜头(看得范围大)数字变焦达到最远的时候切换到长焦镜头(看得范围小),通过范围大用短焦、范围小用长焦的方式使整体光学变焦能力得到提升,一般这种切换会产生 顿挫感 。(图像处理算法强大的话可使用户感受不到这种顿挫感,如 iPhone7 puls)

4、彩色相机 + 深度相机

深度相机

深度相机就是可以直接获取场景中物体距离摄像头 物理距离 的相机。根据原理不同,主要有飞行时间(TOF)、结构光、激光扫描。通过深度相机可以得到深度图。深度图是一张灰度图,它是一张三维的图:水平垂直坐标对应像素位置,该位置的灰度值对应的是该像素距离摄像头的距离。

实现彩色+深度的遇到的问题?

①、深度相机的分辨率目前还比较低,一般都是VGA(640 x 480)以下,而现在普通的RGB相机分辨率都已经到千万像素级以上。要将低分辨的深度图与RGB相机一致的 高分辨率 ,这种“从无到有”的分辨率提升需要利用彩色图中物体的纹理、边界等内容信息,这个过程要想保持细节是比较困难的。
②、深度相机和彩色相机融合时还需要知道两个相机的畸变系数、光学中心、相对旋转/平移量等一系列参数,这就需要对两个相机进行 相机标定 工作。在深度相机的低分辨率下进行相机标定工作也是一个较大的挑战。

—参考文献—


http://www.ppmy.cn/news/462471.html

相关文章

【C数据结构】动态顺序表_SeqList

目录 【1】数据结构概述 【1.1】什么是数据结构? 【1.2】数据结构分类 【1.3】数据结构术语 【2】数据结构特点 【2】动态顺序表 【2.1】动态顺序表定义数据结构和接口 【2.1】动态顺序表创建初始化 【2.2】动态顺序表初始化 【2.3】动态顺序表内存释放 【…

【Nexus】上传jar至Nexus的两种方式

目录 一、前言二、pom文件添加推送代码配置1、配置pom.xml文件2、配置maven的settings.xml文件3、执行上传①、点击Maven-Lifecycle-deploy-Run Maven Build②、出现以下提示则上传成功③、这时,在Nexus的nexus-snapshot-hosted(快照类型的托管资源库&am…

有趣的数学 关于自然常数e

一、e的值 自然常数(也称欧拉数)e是数学中最重要的数字之一。 2.7182818284590452353602874713527...... 二、从复利理解e 设想你在一家银行有一个银行账户,该银行付给你一个慷慨的利息年利率12%,一年计一次复利.你将一笔初始存款…

知乎如何点赞比较稳定,知乎点赞费用多少钱

很多朋友都知道知乎点赞对于提升知乎回答的排名权重有着非常重要的作用,但是自己的回答经常获得不了点赞,想要买赞又不知道知乎点赞费用多少钱,以及知乎如何点赞才能比较稳定,下面洛希网络科技和大家一起来探讨知乎点赞问题。 知…

中国全脸头盔市场深度研究分析报告

【报告篇幅】:117 【报告图表数】:164 【报告出版时间】:2021年1月 报告摘要 2019年中国全脸头盔市场规模达到了XX亿元,预计2026年可以达到XX亿元,未来几年年复合增长率(CAGR)为XX%。 本报告研究中国市场全脸头盔的…

科技爱好者周刊(第 141 期):封闭系统的胜利

这里记录每周值得分享的科技内容,周五发布。 本杂志开源(GitHub: ruanyf/weekly),欢迎提交 issue,投稿或推荐科技内容。 周刊讨论区的帖子《谁在招人?》,提供大量程序员就业信息,欢迎访问或发布工作/实习岗…

使用omp并行技术实现快排加速

快排基本原理: 快速排序可以说是最为常见的排序算法,冒泡排序时间复杂度达到了O(N2),而桶排序容易造成浪费空间。快排(Quicksort)就成为了不错的选择。 1、原理:快排需要找一个数作…

FPGA XDMA 中断模式实现 PCIE X8 测速试验 提供工程源码和QT上位机源码

目录 1、前言2、我已有的PCIE方案3、PCIE理论4、总体设计思路和方案XDMA简介XDMA中断模式QT上位机及其源码 5、vivado工程详解6、上板调试验证7、福利:工程代码的获取 1、前言 PCIE(PCI Express)采用了目前业内流行的点对点串行连接&#xf…