视频和视频帧：图像，从自然光到01串

写在前面
从今年（2019年）年中接手AI摄像头开发项目，笔者第一次真的到了摄像头“内部”去取流，虽然说最终发现也就是调用各个厂商的API去拿YUV原始视频帧。不过，开发之余挖一挖现在摄像机内部帧采集、编码、前端显示的各项工作，才知道我们所调用的API底层更多更意思的事情。正好趁这个机会记录学习，更深入学习摄像机是如何采集图像的。

所以，这篇文章既作为自己的学习笔记，也希望借此和大家交流探讨。

本文将介绍的是：

图像的成像过程。这里将对比人眼和相机成像的异同。
相机捕捉图像的过程。这里将介绍相机捕捉图像的原理，以及单反拍摄的原理。
相机的图像成像过程。这里将介绍CMOS/CCD，以及如何记录色彩信息。
相机内的图像处理过程。这里将介绍相机的滤光、图像增强和矫正。
I. 成像
成像，从生物学角度来看，首先是光源（如太阳光）的光线被物体吸收反射，被人的眼球捕捉到后由视觉神经传导到大脑，经处理得到一幅完整的图像的过程。整个过程如下图所示：

整个过程最复杂的部分在于光线是如何被眼球捕捉从光信号转为人脑可以处理的电信号，接着，电信号又是如何被大脑处理而得到一副带深度和色彩信息的图片。

大脑处理的过程涉及到脑神经学、高等生物学，本文按下不表；关于前者，首先需要我们回忆下初中生物和物理知识。

知识点1：眼球结构

人眼球的结构非常复杂，删繁就简，只看与成像有关的结构，见下图（图片来自它如何让你我远在天涯也能近在咫尺？）。瞳孔控制光线进入，当光线太强时，瞳孔会缩小以保护眼睛受强光的刺激；反之瞳孔会扩大以增加光线进入眼睛，以看情物体。角膜一方面起到阻挡异物保护眼球的作用，另一方面它有折光作用。 晶状体是眼球中重要的屈光间质之一。玻璃体也是屈光介质，它的另一个作用时固定视网膜。视网膜的作用就是感光。

知识点2：凸透镜成像

了解了眼球结构后，发现与成像相关的几个部分，大半都是屈光介质：角膜、晶状体、玻璃体。屈光，直白来说就是汇聚光线。我们可以简单把上述的屈光介质认为是一组等效是一片凸透镜的“镜片组”。

光线由瞳孔控制，首先穿过角膜、晶状体和玻璃体这些等效为一片凸透镜的“镜片组”，凸透镜会将光线汇聚成像汇聚到视网膜上。

知识点3：生物电流

视网膜上充斥着大量的视神经细胞，经过生物的进化，这些视神经细胞分化出感强光和色觉的视锥细胞和感知弱光的视杆细胞。当光线达到视网膜上，视细胞各种双极细胞受到刺激，细胞膜表面离子通道打开，神经细胞内外膜电压改变而产生了生物电流。生物电流沿着神经流到大脑，在大脑里面整合，就成了我们看到的图像。

摄像机成像的过程，和人眼成像的过程非常相似！相机的光圈等同于人眼的瞳孔，可以扩大缩小控制进入的光线数量；相机的镜头组类似人眼屈光介质（角膜、晶状体和玻璃体），本质上就是一块凸透镜，用于汇聚光线；相机的感光元件（Sensor，CMOS或者CCD），如同人的视网膜，负责将光线信号转为电（荷）信号；相机的图像处理（Digital Signal Process，简称DSP，也有说法是Image Signal Processing，ISP）功能则类似于处理视觉部分的人脑，负责最终的成像。

总结来看，成像，此处主要指现代相机的成像，其过程可以分为三个步骤：

凸透镜成像：捕捉光线信号；
信号转化：光线信号转化为数字信号。这个步骤可以分得再细一点：首先光线信号转化为电（荷）信号，接着模拟信号转化为数字信号。（人脑大约只有前一个转化的步骤）
图像数字处理：如颜色插值计算，JPEG压缩等，当然也包括存储图像。

接下来，将更为具体地介绍成像的每一个关键步骤。
II. 图像捕捉
相机捕捉图像的核心是凸透镜成像。初中物理课本上介绍凸透镜成像规律（其一）：当物距大于2倍焦距时，会在1倍焦距和2倍焦距之间成一个倒立、缩小的实像。此时像距小于物距，像比物小，物像异侧。如下图。这个规律正是相机成像的基本原理。

实际上，相机，特别是单反，可远远不止于此。市场上好的相机，仅仅机身就售价过万，更别说单支镜头动不动就是大几千上万的。难道仅仅因为金属机身很亮？镜头的凸透镜数量多？

首先来看镜头。市场上可见的镜头可以分为定焦镜头（Prime Lens）和变焦镜头（Zoom Lens）。一般来说，定焦镜头在同等画质下能做到价格更实惠，最大的原因是研发成本和做工上。优秀的镜头需要满足诸如能够覆盖要求的每个焦段（定焦不需要）、每个焦段成像的畸变控制（桶形畸变和枕形畸变）、色差矫正（紫边、炫光）等。这里插一句题外话：一般认为，好的镜头需要消除炫光，但是摄影圈中尼康有一款相机（型号忘记了）设计时有一个bug导致没有控制好炫光，但是拍摄出来的炫光效果却非常漂亮，导致这颗头非常畅销。所以说啊，摄影来说并没有所谓“好镜头的标准”。不过有一点可以肯定，一颗好镜头，做工真的非常复杂，比如下面这个佳能的200-400mm镜头，不得不感叹，镜片组真是太复杂了！

再来看相机。市场上相机的种类实在太多了，特别是手机甚至玩出了花儿，比如什么双摄三摄四摄、屏下摄像头。相机界也是不甘示弱，胶片机、单反、微单（无反）、旁轴相机，款式也是多的眼花缭乱，这些相机们到底都是些什么玩意儿？借用知乎上卡片、单反、微单、单电都有什么区别？各自的优劣势又是什么？网友回答的一幅图，笔者觉得这幅图在帮助区分各种类型摄像头上清晰明了：

这里，我们以单反为例，说明相机是如何捕捉图像的。其实网上关于单反相机原理的介绍有很多，推荐一篇写得非常棒的回答：「无反相机」是如何发展起来的？

单反，全称单镜头反光（Single Lens Reflex，简称SLR）。单镜头指的是相机只有一个镜头口，反光指的是内部反光镜结构的设计。了解下相机发展历史可以知道，在单反之前有过双镜头相机，一个镜头取景，另一个镜头成像，这种结构的问题在于取景框看到的景和实际拍摄得到的景有很大的差异。人类的智慧总是无穷的，后来设计出了单反，不过似乎目前对于“世界上第一台单反”有着许多不同的答案。然而经过时间的打磨和证明，单反是截止目前为止最为成熟的拍摄结构。插句题外话：现在关于无反是否会取代单反的声音越来越多，笔者无意引战，只想说随着科技的发展，无反相机的缺点（耗电、坏感光器）只会慢慢被填平，取而代之的是人们越来越追求摄影的轻便和高效。

笔者借用回答中的一幅图来说明单反是如何成像的。在取景阶段，光线从镜头进入，到达反光镜（图中蓝色部分）被反射到五棱镜（咳咳，只有中高端的才有五棱镜，低端一点的是五面镜），最后反射出取景框达到用户眼睛。用过相机的人应该知道，相机有“半按对焦”功能，现在绝大部分相机还有“自动对焦”功能，那这些是怎么做到的呢？因为光线进来后并不是全部都被反射到取景框了，还有一部分光线被分到了自动对焦传感器（Auto Focus Sensor）（图中粉色部分）上用来做对焦计算。在拍摄阶段，用户按下拍摄按钮，反光板被抬起，光线到达光感光元件，也就是我们常说的CMOS/CCD上。

III. 图像成像
相机的成像核心模块是感光元件，负责记录光信号。

传统胶片相机的感光元件是胶卷，胶卷成像依靠的是银盐（有说法是卤化银）在感光下结构发生变化和相互凝结，从而记录下影像， 见胶卷为什么会曝光？。最早期只有黑白照片，后来胶卷中被增加了若干层颜色感光图层后，能够记录下颜色了，见简述彩色胶卷负片的结构以及成像原理以及光晕问题。

随着科技的发展，数码相机三大家，索尼佳能尼康终于干倒了柯达，插一句题外话，其实是柯达自己把自己干倒的，没记错的话，当年是柯达最早提出的数码相机的概念。传统胶片机时代，拍摄后不能立即成像，必须把胶卷送洗后才能得到最终成像，并且摄影师可以做的后期效果有限，于是数码相机非常迅速地占领了市场。

数码相机的感光元件是CMOS和CCD。 CCD的全称是Charge Couple Device，翻译过来就是“光电荷耦合器件”，CMOS的全称是Complementary Metal-Oxide Semiconductor，有“互补金属氧化半导体”的意思。CCD和CMOS的工作原理有一个共通点，那就是都是用光敏二极管来作为光-电信号的转化元件。 更细节的原理请见什么是CMOS与CCD?。

插一句题外话：CMOS的光电转换直接效率高，因此CMOS在速度和功耗上更有优势。CCD的发展更早更成熟，不过现在CMOS也发展的越来越成熟了，因此绝大部分相机都是CMOS。

然而无论是CMOS还是CCD，只能表达一种光的信号，那么颜色信息是如何被捕捉的呢？数码成像不同于胶卷，没办法增加多种颜色的图层给电荷带上颜色信息；且现在成像是一次拍摄完成的，不可能多次打光到不同的颜色滤片（Color Filter）。

在1976年柯达公司的工程师Bryce Bayer ，也就是拜耳阵列的发明人，想到了一种解决方案，就是大名鼎鼎的拜尔矩阵（Bayer Pattern）。

以下图（图片来自什么是CMOS与CCD?）为例，在感光元件前加上R/G/B的矩阵滤光片，光透过滤光片后打到感光元件上，记录了对应颜色（RGB）的信息，最后通过插值得到了3个R/G/B的颜色通道。因为人眼对绿光更敏感，因此绿色数量更多。

拜尔矩阵的做法牺牲了不少R/G/B的信息，现在还有一种新的色彩记录办法，首先把光线分成3路，每一路分别打到R/G/B滤光片后再打到对应的感光元件上。不过目前市场上民用的相机仍旧采用拜尔矩阵。
IV. 图像处理
笔者最初玩摄影的时候，一直觉得加了后期的照片时没有灵魂的。然而了解了相机和摄影之后，才知道这个想法是多么天真！

从光线进入镜头的那一刻起，图像处理就无处不在了。第一关是滤镜，比如偏光镜（Polarizers）、减光镜（Neutral Density ，ND）、渐变镜（Graduated Neutral Density，GND）、 UV 镜（UV，Haze），除了UV镜只是起到保护镜头的作用，其他的滤镜都会对光线进行过滤；第二关是镜片，为了取得更好的色彩、控制色差，好的镜头的镜片在生产时就会加入一些微量元素；第三关是红外滤镜（IR Filter），感光元件和人的视网膜感光范围不同，人眼只能捕捉到人类可见光范围，但是相机的感光元件可以捕捉的范围比这个广，其中红外光对成像的影响最大，因此必须在光线达到感光元件之前把红外光过滤掉。再插一句题外话：摄影除了人像、风光等常见之外还有红外摄影，这类摄影师用到的相机会把红外滤镜去掉，最终得到的成像颜色非常迷幻。

在感光元件转化光信号到电荷信号之后，经过放大器（Amplifier）线性放大之后，形成一个电压信号。这个电压信号经模数转换器（Analog to Digital Converter，ADC，A/D转换器）转变为数字信号，被记录下来。（引自深空摄影完全攻略） 通过ADC之后图像才真正从自然光变成了01串。

随后，转化为数字信号的图像被传输到DSP/ISP之后，需要对图像进行处理，图像矫正、图像增强等。下图是相机内一条完整的图片处理过程（图像摘自工业数码相机图像处理基础知识简介）。

如果是单反相机，用户是可以选择输出图片格式，一般选项有JPEG（不同的尺寸、压缩率）和RAW格式。RAW格式是相机感光元件接收的原始图像数据，同时还包含文件创建时的相机设置和图像处理参数，RAW并不是特定的格式，每个厂家的RAW文件后缀都不同，比如尼康的后缀是.NEF。一般是专业摄影师或摄影爱好者会使用LightRoom或者Photoshop做后期的时候，建议使用RAW格式；如果是普通用户，选择JPEG就可以了。

写在后面
文章中有不严谨的地方，欢迎指摘。

资料来源

https://zhuanlan.zhihu.com/p/95789784