相机知识整理

坐标系之间的关系

世界与相机

核心：旋转和平移；旋转使得坐标轴重合，平移使得原点重合

表示方式：非齐次形式

${\begin{bmatrix} X_C\\ Y_C\\ Z_C\\ \end{bmatrix}} = R {\begin{bmatrix} X_w\\ Y_w\\ Z_w\\ \end{bmatrix}} + t = {\begin{bmatrix} r_{11}&r_{12}&r_{13}\\ r_{21}&r_{22}&r_{23}\\ r_{31}&r_{32}&r_{33}\\ \end{bmatrix}} {\begin{bmatrix} X_w\\ Y_w\\ Z_w\\ \end{bmatrix}} + t$

齐次表示：

${\begin{bmatrix} X_C\\ Y_C\\ Z_C\\ 1\\ \end{bmatrix}} = {\begin{bmatrix} R&t\\ 0^T&1\\ \end{bmatrix}} {\begin{bmatrix} X_w\\ Y_w\\ Z_w\\ 1\\ \end{bmatrix}} = {\begin{bmatrix} r_{11}&r_{12}&r_{13}&t_x\\ r_{21}&r_{22}&r_{23}&t_y\\ r_{31}&r_{32}&r_{33}&t_z\\ 0&0&0&1\\ \end{bmatrix}} {\begin{bmatrix} X_w\\ Y_w\\ Z_w\\ 1\\ \end{bmatrix}}$

其中R为3*3的单位正交阵。列向量 $r_{i}$ 模长为1，且相互正交。

$\begin{cases} |r_{i}| = 1,i = 1,2,3\\ {r_{i}}^T * r_j = 0, i\neq{j}\\ \end{cases}$

相机与图像

核心：透视。线性投影，使用齐次空间可以帮助理解。计算关系是利用空间中的相似三角形进行计算的。

$\begin{cases} x_u = fX_c/Z_c\\ y_u = fY_c/Z_c\\ \end{cases}$ ${\begin{bmatrix} X_c\\ Y_c\\ Z_c\\ \end{bmatrix}} {\begin{bmatrix} x\\ y\\ f\\ \end{bmatrix}}$

以齐次坐标的形式表示有：

$Z_{c}\left[\begin{array}{c} x_{u} \\ y_{u} \\ 1 \end{array}\right]=\left[\begin{array}{llll} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{c} X_{c} \\ Y_{c} \\ Z_{c} \\ 1 \end{array}\right]$

图像与像素

核心：放缩与平移。

放缩：由于像素点是离散的，而一个像素点在物理空间上的尺寸是dx * dy（mm）。

平移：是由于图像平面和像平面的坐标原点不一样。

关系如下：

$\left\{\begin{array}{l} u=\frac{x_{u}}{d_x}+u_{0} \\ v=\frac{y_{u}}{d_y}+v_{0} \end{array}\right.$

图像转换到像素时，/dx或者/dy，并去中心化（-u0，-v0）

齐次坐标的表示：

$\left[\begin{array}{c} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} \frac{1}{d_x} & 0 & u_{0} \\ 0 & \frac{1}{d_y} & v_{0} \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{c} x_{u} \\ y_{u} \\ 1 \end{array}\right]$

双目相机之间的关系

双目相机之间的关系是经过旋转和平移后对准的[R|t],特殊的在平行的双目情况下一般以左相机坐标作为系统坐标。例如左相机作坐标（xl,yl,z）,右相机坐标(xr,yr,z)，那么xr-xl = b(基线长度)；比如左边的圆点在右边坐标系中为（-b,0,0）。

总结

$Z_{C}\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} \frac{1}{d x} & 0 & u_{0} \\ 0 & \frac{1}{d y} & v_{0} \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{cccc} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{cc} R & t \\ 0^{T} & 1 \end{array}\right]\left[\begin{array}{c} X \\ Y \\ Z \\ 1 \end{array}\right]$

$=\left[\begin{array}{cccc} f_{x} & 0 & u_{0} & 0 \\ 0 & f_{y} & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{cc} \mathbf{R} & \mathbf{t} \\ \mathbf{0}^{\mathrm{T}} & \mathbf{1} \end{array}\right]\left[\begin{array}{c} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{array}\right]=\mathbf{M}_{1} \mathbf{M}_{2} \widetilde{P}=\mathbf{M}_{34} \widetilde{P}$