相机成像原理

1、相机成像原理说明

2、相机成像过程

2.1、世界坐标系->相机坐标系

2.2、相机坐标系–>图像坐标系

2.3、图像坐标系–>像素平面坐标系

3、单点无畸变的相机成像模型

近期项目需进行单目测距、及像素坐标与实际物理距离估算，对相机成像相关知识点进行整理。

1、相机成像原理说明

数码相机图像拍摄的过程实际上是一个光学成像的过程。相机的成像过程涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系以及这四个坐标系的转换。相机模型是光学成像模型的简化，最基本的透镜成像原理如图1 所示：

其中 u 为物距， f 为焦距， v 为相距。三者满足关系式：

推导过程：

相机的镜头是一组透镜，当平行于主光轴的光线穿过透镜时，会聚到一点上，这个点叫做焦点，焦点到透镜中心的距离叫做焦距 f。数字相机的镜头相当于一个凸透镜，感光元件就处在这个凸透镜的焦点附近，将焦距近似为凸透镜中心到感光元件的距离时就成为小孔成像模型。小孔成像模型如图 2 所示：

基于上图，当 s 和 f 相等的时候，便是相机的成像模型。小孔成像模型是相机成像采用最多的模型。在此模型下，物体的空间坐标和图像坐标之间是线性的关系，因而对像素坐标的求解就归结到求解线性方程组上。

对于针孔相机模型，如图3所示（其中f为相机焦距），对于真实世界中的空间点Pw(Xw，Yw，Zw)，其对应的相机坐标系坐标为Pc(Xw，Yw，Zw），对应的图像坐标系坐标为P(x ,y),对应的像素坐标为p(u，v）。

世界坐标系：是客观三维世界的绝对坐标系，也称客观坐标系。

相机坐标系（光心坐标系）：以相机的光心为坐标原点， X 轴和 Y 轴分别平行于图像坐标系的 X 轴和 Y 轴，相机的光轴为 Z 轴。

图像坐标系：以图像平面的中心为坐标原点，X 轴和 Y 轴分别平行于图像平面的两条垂直边，用( x , y )表示其坐标值。图像坐标系是用物理单位（例如毫米）表示像素在图像中的位置。

像素坐标系：以图像平面的左上角顶点为原点，X 轴和 Y 轴分别平行于图像坐标系的 X 轴和 Y 轴，用(u , v )表示其坐标值,单位是像素。

2、相机成像过程

相机成像模型就是用数学公式刻画整个成像过程，即被拍摄物体空间点到照片成像点之间的几何变换关系。总体上，相机成像可以分为四个步骤：刚体变换、透视投影、畸变校正和数字化图像。

2.1、世界坐标系->相机坐标系

从世界坐标系到相机坐标系，涉及到旋转和平移（其实所有的运动也可以用旋转矩阵和平移向量来描述）。绕着不同的坐标轴旋转不同的角度，得到相应的旋转矩阵，如下图所示：

那么从世界坐标系到相机坐标系的转换关系如下所示：

于是可以得到P点在相机坐标系中的坐标：

其中R，T为相机外参。写成齐次坐标的方式是为了方便矩阵运算。其中R为3*3矩阵，T为3*1向量，0为1*3向量，1为常数项。

2.2、相机坐标系–>图像坐标系

真实世界中的某点会投影在相机的成像平面上，利用针孔成像原理，空间任意一点Pc与图像点p之间的关系，Pc与相机光心Oc的连线为OcPc，与像面的交点p即为空间点Pc在图像平面上的投影。

该过程为透视投影，利用相似三角形关系可得：

其中f为焦距，z轴方向上s为Pc点到光心的距离，一般称为比例因子，展开可得：

写成矩阵形式，则投影关系为：

其中，s为比例因子（s不为0），f为有效焦距（光心到图像平面的距离），(x,y,z,1)T是空间点P在坐标系oxyz中的齐次坐标，(x,y,1)T是像点p在图像坐标系OXY中的齐次坐标。

注意：此时投影点p的单位还是mm，并不是pixel，需要进一步转换到像素坐标系。

2.3、图像坐标系–>像素平面坐标系

像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：